спасибо.

Огромное спасибо!

а кстати другой совет тоже стоит проверить https://t.me/clickhouse_ru/179346
возможно groupArray будет лучше

всем привет, подскажите, а в grafana можно как то настроить аларм на КХ? У меня пишет что не поддерживается датасорс, но должен вроде уже. grafana v6.4.3, спасибо

Спасибо. Asof сработал замечательно, но обязательно гляну.

А join on t1.value1 like t2.value2 так и не появился ?

Привет!

Столкнулся со следующей проблемой:
В кластере Clickhouse (2 хоста) таблицы часто уходят в readonly на пару секунд и возвращаются в рабочее состояние. В логах CH вижу только ошибки вида: ZooKeeper session has been expired, Operation timeout (no response) for path /....
В кластере ZK (5 хостов) только WARN сообщения Connection request from old client /xx.xx.xx.xx; will be dropped if server is in r-o mode, Established session 0xXXXXXXXX with negotiated timeout 302400 for client /xx.xx.xx.xx.
При этом сетевых проблем между ZK и CH хостами не наблюдается. Аномалий и изменений в нагрузке на CH/ZK не было.
Для вставок используются буфферные таблицы, которые сбрасываются примерно раз в 2 минуты.

Версия Clickhouse 20.6.3.28
Версия ZooKeeper 3.4.14

Подскажите, пожалуйста, в чем может быть проблема. Буду очень признателен, т.к. второй день не удается её решить.

кмк даже в планах нет, это слишком не лезет в существующие джойны, т.е. наверное это можно сделать как фильтрация после, только like надо сделать чтобы умел не только константы искать, это все будет конечно тормозить примерно как у всех

а 5 хостов ZK это чтобы было больнее и тормознее? Рекомендация ровно 3, всегда и везде и для чего угодно.

пинг сколько между зк и КХ (примерно)?

Привет всем! Хочу создать мвишку с sumMapState функцией. Подскажите есть ли такой движок ReplicatedAggregatingMergeTree? У нас кликхаус с двумя репликами, какой движок выбрать для создания мвишки

Есть

Привет, недавно сюда с проблемой с дублями записей обращался, в коде решил проверкой на существование такой записи за последний час, однако они всё ещё появляются, записи идут в буферную модель, потом сами перекидываются в MT, с неё же делаю запрос на существование таких записей, мб сталкивался кто с таким?

Так а как это схема с окном данных в час может защитить от дублей? Вам нужен полный список всех id-ков и очень быстрый поиск по ним. Мы такое решали созданием mv, где есть только ID, где order by тоже по нему. Тогда перед вставкой берём пачку id и ищем в таблице. Чего не нашли - вставляем. И они тут же в mv появляются

ну вот смотри, я беру последний id, проверяю его таймстемп и если прошёл час, то даю добро на запись, проблема в том что появляются записи с одинаковыми таймстемпами и вообще всем одинаковым и непонятно как, create table поля:
timestamp DateTime DEFAULT now()
Хз, мб проблема в конкурентной записи в питоне, на деве всё прекрасно работает, на проде вот такая каша возникает, притом как то рандомно, вот три одинаковые записи появились просто так

Всем привет. Вопрос по поводу too many parts. Движок ReplicatedReplacingMergeTree, Ключ партиции PARTITION BY toYYYYMM(event_time), вставлял батчами по 10к, но видимо все-равно слишком часто? В system.parts у таблицы 338 записей у некоторых  в rows 2 строки всего.  Как это можно исправить?

остановить загрузку, и сделать optimize

увеличить background threads

Спасибо попробую!

Что такое background threads? В последних версиях такой настройки нет.