Не знаю :)

А сколько у вас кафка таблиц? Что показывает

select * from system.metrics where metric= 'BackgroundSchedulePoolTask';

select * from system.metrics where metric= 'BackgroundSchedulePoolTask';

11 таблиц.
запрос выдает 6-10

select * from system.settings where name='stream_flush_interval_ms'

?
и какой kafka_max_block_size?

select * from system.settings where name='stream_flush_interval_ms'

stream_flush_interval_ms │ 7500  

kafka_max_block_size не указывали - дефолтный

А что там поломано? Есть ишью?

А num_consumers у всех 11 таблиц = 1 (по умолчанию) ,

Да, вот

Доброго дня.
Обновились на v20.4.5.36-stable и начались приключения.
Часть таблиц словарей (engine dictionary) хотя словари есть.
cli  2020.06.23 08:49:00.926423 [ 26509 ] {} <Error> Application: Caught exception while loading metadata: Code: 36, e.displayText() = DB::Exception: external dictionary 'factories' not found: Cannot attach table `db`.`dict_factories` from metadata file /var/lib/clickhouse/metadata/db/dict_factories.sql from query ATTACH TABLE dict_factories (`id` UInt64, `name` String) ENGINE = Dictionary('factories'), Stack trace (when copying this message, always include the lines below)

Удалили файлы таблицы с диска - запустилось. Но при пересоздании таблиц - снова креш с таким же сообщением. Пробовали создать словари и таблицы-словари с другими именами - падает при запросах, в которых есть джойн на эти таблицы.

В какую сторону смотреть? Думаю, может нельзя было просто удалять файлы, т.к. где-то в метадате/зукипере осталась инфа о них ?

известный баг в 20.4 https://github.com/ClickHouse/ClickHouse/issues/11201 https://github.com/ClickHouse/ClickHouse/issues/10994

нет, у всех = 2
kafka_num_consumers = 2

Ага. Тогда надо сделать так
1) поменяйте везде на 1 (при таком трафике от 2 консумером больше вреда чем пользы).
2) увеличьте background_schedule_pool_size до 48 (users.xml profile default) потом рестартните КХ

попробуем, спасибо.

А что происходит (в двух словах, чтобы понимать процесс)?

Один из инвариантов кафки - то нужно делать полл регулярно. Если консумер не делает полл в течение некоторого времени то его прогоняют из consumer group. Каждый консумер в КХ для работы использует один поток из background_schedule_pool. У вас получается 11*2 = 22 консумера. Потоков в этом пуле по умолчанию 16. Т.е. для 6 консумеров - могут не делать полл регулярно из-за того что не могут получить поток из пула.

да
https://github.com/ClickHouse/ClickHouse/pulls?q=is%3Apr+Fix+handling+dictionary-table+dependency+is%3Aclosed

Привет подскажите что за ошибка и как ее побороть

Memory limit (total) exceeded: would use 979.38 MiB (attempt to allocate chunk of 4473498 bytes), maximum: 883.10 MiB (version 20.8.2.3 (official build))

уже спрашивал, но видимо "не в то время не в тот час"

есть такой вопрос, а после 20.3 кто следующий LTS? вроде 2 раза в год говорили будет?

Час по прежнему ещё не пробил :) (Вероятнее всего будет 20.9 или 20.10)

спасибо, да  главное маневры иметь план =)