CREATE TABLE IF NOT EXISTS {DB_Name}.{Table_Name}_Buffer ON CLUSTER {Cluster_Name} AS {DB_Name}.{Table_Name} ENGINE = Buffer({DB_Name}, {Table_Name}, 16, 10, 100, 10000, 1000000, 10000000, 100000000)

Собсно всю вставку данных делать в эту таблицу, которая раз в 100 секунд будет сливать данные в основную таблицу.

И в неё можно фигачить 20к рпс, а оно потом само пачки разрулит?

Ага, ей пофиг на rps, скока накопила на 100 секунд, столько и сольёт. Тут единственная трабла, что данные будут появляться в реальной таблице с задержкой в 100 секунд. Если нужно быстрее, надо отредактировать параметры CREATE TABLE...

Да нет, у нас свои буферы держат данные до минуты с лишнем, так что все отлично

А с какой версии кх это есть?

Да хз, но вроде давно уже появилась...
https://clickhouse.tech/docs/ru/engines/table-engines/special/buffer/

А есть что почитать по буферным таблицам? В доке как то скудно. Туда можно постоянно писать что то? Как часто она синкается с основной? Есть данные которые приходят по ~2000 штук в минуту, надо куда то их в риалтайме записывать, вторую реляционную базу не очень хочется поднимать.

Всем привет!
Интересует такой вопрос: заметили что на одной реплике данных меньше чем на другой, может быть такое что они не успевают среплицироваться

Как считали?

COUNT по данным

Может. Смотрите в system.replication_queue

Я всё видел, кто то линканул меня 😒

>А есть что почитать по буферным таблицам?
куда уж детальней https://clickhouse.tech/docs/ru/engines/table-engines/special/buffer/

> Туда можно постоянно писать что то?
можно.

> Как часто она синкается с основной?
она не синкается. она "флашится" по условиям. Условия по ссылке.

> Есть данные которые приходят по ~2000 штук в минуту, надо куда то их в риалтайме записывать, вторую реляционную базу не очень хочется поднимать.
пишите в буфер, либо в кафку, либо сами в аппе аггрегируйте, либо возьмите батчер типа киттенхаус/clickhouse-bulk.
2000 штук в минуту - непонятный термин. 2000 строк одной вставкой? 2000 вставок? если 2000 вставок и число будет сильно расти (например до 20000), httpapi может тупо не справится, не зависимо от того используется буфер или нет.

buffer лучше не использовать с replicatedMT, из-за механизма дедупликации в нем.
buffer потеряет не записанные на диск данные при падении КХ.

криво вставилось, читайте выше

Увидел, про условия сброса, в глаза долбился, наверное, пока читал

Ну или заработался)

отдохнуть вам надо, Юрий Венедиктович...

Кстати такое в MQ не очень хорошо скидывать

Производительность обратно пропорциональна занимаемой памяти