Ребят, привет!
КХ 20.10.5.10
Кластер на 4 ноды. (2 шарда, 2 реплики)
На каждой ноде есть Kafka таблицы, подключенные к одному и тому же топику. В топике 12 партиций.
Когда делаю матвью на эту табличку — все ноды берут себе по 3 партиции все выглядит хорошо. Но спустя какое-то время партиции могут перебалансироваться и уже 3 ноды будут использовать по 4 партиции, а 4я нода начинает слать ошибки типа:

<Warning> StorageKafka (my_topic): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.

Быват случаи когда две или одна нода могут забрать на себя все партиции, а остальные начинают сыпать ошибками.

Подскажите пожалуйста, кто-то с таким сталкивался? Как это можно решить?

нет и скорее всего не будет, КХ / OLAP , не умеет построчно, по индексам

<Warning> StorageKafka (my_topic): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.

вы параметры в самой кафке меняли дефолтные? похоже у вас при ребалансе брокер ждет очень мало времени чтобы назначить партиции консьюмерам, и они не успевают заявить что им тоже надо.
либо в КХ в кафка таблицах num_consumer > 1

даже в одном куске раньше могли быть дубликаты вставленные одним инсертом

и есть TTL и есть GraphiteMT, прореживание

одинаковые значения полей из ORDER BY
это возможно вполне себе

DJ, сделали кстати
--optimize_on_insert arg                                         Do the same transformation for inserted block of data as if merge was done on this block.
включено по дефолту

Спасибо!
Понятно теперь куда копать.

>либо в КХ в кафка таблицах num_consumer > 1
нет, везде по одному

>вы параметры в самой кафке меняли дефолтные?
По параметрам кафки уточню у девопсов. Не заведую ею.

Да, это отвечает на мой вопрос. Спасибо )

ох блин... божечки =\

ну можно выключить, все равно affected rows и был кривой, прибавляет строки которые пишутся в MV

ох божечки... фак май брейн...

Всем привет, подскажите есть 2 поля, надо максимум их сумм
типа select max(sum(А), sum(Б))
Вот так в лоб ругается

или iif чтоли надо?

select if(sum(A) > sum(B), sum(A), sum(B))

greatest(a, b)

так попробуйте

так работает, но както выглядит коряво

ага, спасибо

Как мне сказали, разницы нет, тк вычисления происходят 1 раз

Это хорошо, но внешний вид...