Size: a a a

ClickHouse не тормозит

2021 January 26

M

Mishanya in ClickHouse не тормозит
Евгений Овчинников
я сделал на тестовом сервере set joined_subquery_requires_alias=0

затем проверил:
select value from system.settings where name like '%joined_subquery_requires_alias%';
Оно в рамках сессии работает
источник

M

Mishanya in ClickHouse не тормозит
Если вы перезапустите сессию, то все вернётся назад
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
ну мне так и нужно, код проверить
источник

D

Dj in ClickHouse не тормозит
Евгений Овчинников
я сделал на тестовом сервере set joined_subquery_requires_alias=0

затем проверил:
select value from system.settings where name like '%joined_subquery_requires_alias%';
да, на уровне сессии, дефолт меняется в конфиге
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Mishanya
Если вы перезапустите сессию, то все вернётся назад
аааа сессии
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
спасибо
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
ну попробуйте "Not executing log entry"
Есть такие:
2021.01.26 18:04:29.154304 [ 37 ] {} <Debug> default.graphite_week2 (ReplicatedMergeTreeQueue): Not executing log entry for part 20210111_177490_178692_422 because another log entry for the same part is being processed. This shouldn't happen often.
и
2021.01.26 08:42:37.323698 [ 30 ] {} <Debug> default.graphite_week2 (ReplicatedMergeTreeQueue): Not executing log entry MERGE_PARTS for part 20210125_29062_29098_2 because source parts size (1.20 GiB) is greater than the current maximum (304.36 MiB).
- это когда воркеры заканчивались
источник

S

Slach in ClickHouse не тормозит
mikhail chubukov
Подскажите, пожалуйста, еще куда прописать пути для зукипера при создании внешнего словаря?
а причем тут словарь CREATE DICTIONARY и zookeeper?
они никак не связаны, словари на каждой ноде обновляются самостоятельно
источник

D

Dj in ClickHouse не тормозит
Vadim Metikov
Есть такие:
2021.01.26 18:04:29.154304 [ 37 ] {} <Debug> default.graphite_week2 (ReplicatedMergeTreeQueue): Not executing log entry for part 20210111_177490_178692_422 because another log entry for the same part is being processed. This shouldn't happen often.
и
2021.01.26 08:42:37.323698 [ 30 ] {} <Debug> default.graphite_week2 (ReplicatedMergeTreeQueue): Not executing log entry MERGE_PARTS for part 20210125_29062_29098_2 because source parts size (1.20 GiB) is greater than the current maximum (304.36 MiB).
- это когда воркеры заканчивались
ну значит workerы все же заканчиваются, несмотря на то, что их 40 =)
посчитайте в логах по дням как часто вы видите такое, и участилось ли это - скорее всего из-за этого. ещё есть вариант вас тупо не поспевают мерджи за вставками (либо вставок стало сильно больше, либо ещё чего)
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
ну значит workerы все же заканчиваются, несмотря на то, что их 40 =)
посчитайте в логах по дням как часто вы видите такое, и участилось ли это - скорее всего из-за этого. ещё есть вариант вас тупо не поспевают мерджи за вставками (либо вставок стало сильно больше, либо ещё чего)
Воркеры заканчивались утром,  с 11 часов утра половина свободна,  вставки мы разряжаем,  вставляя реже,  но пачками крупнее
источник

D

Dj in ClickHouse не тормозит
после 12, такие ошибки есть "Not executing log entry "?
источник

VM

Vadim Metikov in ClickHouse не тормозит
Только эта:
Есть такие:
2021.01.26 18:04:29.154304 [ 37 ] {} <Debug> default.graphite_week2 (ReplicatedMergeTreeQueue): Not executing log entry for part 20210111_177490_178692_422 because another log entry for the same part is being processed. This shouldn't happen often.
источник

VM

Vadim Metikov in ClickHouse не тормозит
По этой таблице
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
после 12, такие ошибки есть "Not executing log entry "?
Между этими двумя сообщениями больше нет
источник

D

Dj in ClickHouse не тормозит
есть мониторинг по количеству активных партов? в теории должно рассасываться постепенно

проверьте еще system.replication_queue

может там застряло, там ошибку пишет тожет и аттемптс
источник

D

Dj in ClickHouse не тормозит
Vadim Metikov
Между этими двумя сообщениями больше нет
после всяких факапов оно рассасывается не сразу...
источник

CO

Chern Oleksander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
версия КХ ?
DataGrip имеет свой собственный парсер SQL и разные версии DataGrip понимают разные КХ SQL
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
есть мониторинг по количеству активных партов? в теории должно рассасываться постепенно

проверьте еще system.replication_queue

может там застряло, там ошибку пишет тожет и аттемптс
В replication_queue- 8 записей,  ошибок нет,  у нас так:
источник

D

Dj in ClickHouse не тормозит
Vadim Metikov
В replication_queue- 8 записей,  ошибок нет,  у нас так:
во всех хостах в replication_queue мало записей? такое просто маловероятно, так как один хост назначает мерджи и они должны быть в очереди...

может мерджи стоят где то? system stop/start merges
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
во всех хостах в replication_queue мало записей? такое просто маловероятно, так как один хост назначает мерджи и они должны быть в очереди...

может мерджи стоят где то? system stop/start merges
Да,  на всех,  сейчас по 13 записей,  но у всех num_tries=1 и last_exception="" мерджи идут,  но мало,  по 12-13
источник