Телеграмм чат группы clickhouse

и тут есть велосипед на 4 экрана как это решить, с помощью двух топиков.

Denny Crane [not a Yandex bot]

23:28пожаловаться #1

Dj in ClickHouse не тормозит

видимо там специально для ATTACH PARTITION FROM код сделан, в очередь репликации специально что-то сообщается

s1 Cloning part /var/lib/clickhouse/data/dw/test123temp/all_1_1_0/ to /var/lib/clickhouse/data/dw/test123/tmp_replace_from_all_3_3_0

s2 Found 1 parts that could be cloned (of 1 required parts)
s2 Cloning part /var/lib/clickhouse/data/dw/test123temp/all_1_1_0/ to /var/lib/clickhouse/data/dw/test123/tmp_replace_from_clone_all_3_3_0

нда, явно скрытый черный ход, спасибо, надо будет иметь ввиду...

23:28пожаловаться #2

проблема возникла не из-за самой кафки, из нее получали и ложили в table( msg String)

23:28пожаловаться #3

внутренний стейт в енджине и ретраи не помогут уменьшить шанс данной проблемы?

с консьмером все сложнее, потому что их много и они друг про друга не знают

Перец Из адлера... in ClickHouse не тормозит

23:29пожаловаться #4

ПИ

и поэтому вы решили спросить холиварщиков и тунеядцев из чатика, для которых все что меньше миллиарда строк это "не тема"? =)
вам будет сложно растить бизнес не имея человека которому вы доверяете техническую часть. заимейте хотя бы консультанта...

По моему у меня все ок, я просто набираюсь опыта, также как и вы где то

Перец Из адлера... in ClickHouse не тормозит

23:29пожаловаться #5

ПИ

В целом, спасибо. В чатике я сижу параллельно чтению

23:29пожаловаться #6

но дальше перекладывали не раз:
первый инесерт через MV - ok
второй инсерт через MV - exception

в итоге - в первой таблице дюпы

23:30пожаловаться #7

внутренний стейт в енджине и ретраи не помогут уменьшить шанс данной проблемы?

Ретраи есть, хранение оффсетов где-то по стороне КХ (чтоб не нужно было в 2 несвязанные системы коммитить - наверное будет, но не знаю когда), конкретно ту проблему про которую пишет @den_crane это никак не поможет решить - тут дополнительно EOS семантика нужна

23:32пожаловаться #8

Короче у нас честный at least once сейчас. Дубликаты редки, но возможны.

23:34пожаловаться #9

Mikhail Filimonov

да, копал исходники не мастера(20.3), все так и есть.
EOS - можно контекст?

23:34пожаловаться #10

Exactly once sematics в кафке. Чтоб работала нужно чтоб продюсер много всяких доп штук умел, по стороне консумера относительно просто все.

23:36пожаловаться #11

конкретно данную проблему могло бы решить разделение ответсвенности DB::InterpreterFactory - сделать так, что бы при множественной логике возложенной связные таблицы работали разные потоки.

23:38пожаловаться #12

за каждую MV отвечает отдельный ThreadImpl

23:39пожаловаться #13

а не как сейчас - по цепочке.

23:39пожаловаться #14

за каждую MV отвечает отдельный ThreadImpl

вы просто не понимаете про дедупликацию инсертов

23:39пожаловаться #15

Denny Crane [not a Yandex bot]

вы просто не понимаете про дедупликацию инсертов

да, скорее всего

23:40пожаловаться #16

за каждую MV отвечает отдельный ThreadImpl

select * from system.settings where name='parallel_view_processing';

23:40пожаловаться #17

у обычных MergeTree тоже ксати вроде пытались добавить дедупликацию.

23:40пожаловаться #18

Mikhail Filimonov

select * from system.settings where name='parallel_view_processing';

спасибо, изучу

23:40пожаловаться #19

спасибо, изучу

это не поможет, будет ошибка инсерта и все равно повтор