это если в одну секнуду приходят сотни тысяч сообщений?

Или миллионы, да
И выборки специфичные именно по маленьким промежуткам времени

ага, понял, спасибо!)

Еще поврос: можно ли сделать insert from select по всему кластеру сразу? Не могу использовать distributed, так как ключ шардирования задан вручную

я думаю, что можно попробовать сделать insert into dist select from dist2 с этой настройкой
https://clickhouse.tech/docs/ru/operations/settings/settings/#parallel_distributed_insert_select
(но это не точно)

А это идея, надо попробовать

Всем привет! Подскажите по переливке данных из Postgres.
Цель - периодически подливать в таблицу ClickHouse данные из Postgres.

Сделал ENGINE=ODBC таблицу, из нее через INSERT INTO merge_tree_table SELECT * FROM odbc_table переливаю данные.
Т.к. данных очень много, clickhouse-odbc съедает всю память и убивается OOMKIller'ом.

Как правильно переливать большой объем данных, есть ли варианты кроме как самостоятельно реализовывать логику разбивки на куски?
Может можно задать какой-то размер буффера для ODBC (не нашел в настройках)?

Если аналогично переливать через PIPE "psql ... | clickhouse-client ... INSERT INTO" не будет пробем с памятью?

А можно ли как-то ограничить размер копируемых данных за раз в insert from select? Упираюсь в мемори лимит

Всем привет. Ровно в 12 ночи происходит вот это - CPU utilization, CH memory used падают до 0. В логах пусто. Кроны и таймеры проверил - подозревать некого. Что это за нафиг такой?
P.S. Clickhouse 20.4.2.9, Ubuntu 18.04.

не подскажу) Нужен совет более опытного :) Наверняка можно что-то с настройками подкрутить - уменьшить количество потоков либо что-то еще

Ну пока что просто увеличил лимит, и вроде идет процесс

А в логах кх что нибудь происходит?

Если бы. Ни в логах CH, ни в логах ОС.

виртуалка?

droplet в digital ocean.

банально какой нибудь снапшот снимается с диска?

да, дело в бекапе/снепшоте/переезде на другой хост. можете удостоверится сделав посекундный крон который в файл строчку дописывает с таймстемпом. ваша проблем не про Кх

Переезде на другой хост - вот про это я как-то не подумал. Хотя у DO переезды проходят без таких "косяков". В общем, пойду пинать суппорт DO. Спасибо.

Добрый день!
В одном из партов mrk2 файлы и primary.idx имеют размер на три порядка больше типичного (сотни мегабайт вместо сотен килобайт).
Кол-во строк в этом парте (этом месяце) и distinct count от ключа сортировки тоже сравнимы с остальными месяцами/партами.
Версия 20.6
О чем это может говорить, куда копать?

А если перевставить парт в другую такую же таблицу?