была похожая ситуация, на больших данных финал не комильфо юзать, лучше изменяющиеся данные храните в буфере, а потом пишите в MergeTree

я и говорю, что в доке и так и так сказано, что никто ничего не гарантирует, но с реплейсингом ни разу не было такиз проблем

бывало. ну и вообще в целом закладываться на то, что мерж пришел и все схлопнул - такое себе (неважно, collapsing это или replacing)

это понятно, запросом с группировкой и хэвингом все можно решить, просто не ожидал, что сразу будут оставаться дубли

КХ умный и сам потом порешает с вашими дублями, не переживайте.
если переживаете - можете залезть в исходники и найти, почему в таком кейсе, как у вас он решил что "и так сойдет")

Привет! Вопрос по движку буфер в кх - Memory limit (total) exceeded: would use 56.15 GiB (attempt to allocate chunk of 4301628 bytes), maximum: 56.15 GiB
IN:INSERT INTO Buffer (.... - как можно промониторить, когда сбрасывается буфер? Я же правильно ожидаю, что его не надо чистить, он сбрасывается сам? Мб слишком много памяти ему выделил для max_bytes?

не схлопнется, 3 парта (как у вас 3 раза инсерт) по моему опыту вообще никогда не схлопнутся сами =)
насклько я понимаю схлопывание триггерится новым инсертом в таблицу (либо оптимайз или ттл таймаут), не вставите - не схлопните
в теории есть ещё какие-то проверки, но тут хз ваще

гайз, в чем проблемка может быть ? есть табличка в движком summing
мне нужно сделать альтер с uint32 на int32
при запуске альтера  -  DB::Exception: Connection loss.

под словом "кластер" имеется ввиду "кластер" как набор StatefulSet ? определяемый в .spec.configuration.clusters в манифесте? или под словом "кластер" имеется ввиду произвольное имя из system.clusters?

.spec.configuration.clusters

actually I already found the solution

if define two templates

  templates:
    serviceTemplates:
      - name: chi-dummy-service-template  # disable LB external IP https://github.com/Altinity/clickhouse-operator/issues/198
...
      - name: chi-cluster-service-template
...

then define  on CHI level

spec:
  defaults:
    templates:
      serviceTemplate: chi-dummy-service-template

and on cluster level

    clusters:
{% for cluster_name, value in clickhouse_k8s_clusters.items() %}
      - name: {{ cluster_name }}
        templates:
          clusterServiceTemplate: chi-cluster-service-template

it start working properly

зy

а все, разобрался
если интересно то вот ишью https://github.com/ClickHouse/ClickHouse/issues/11933#issuecomment-654286261

А кто сталкивался с движком buffer? Memory limit (total) exceeded: would use 56.15 GiB (attempt to allocate chunk of 4316124 bytes), maximum: 56.15 GiB. У меня буфер 8 потоков с макс мемори в 4 Гига, при инсерте в него вылетает ошибка выше (причем в ошибке память полная ноды) периодически - по мониторингу кх по памяти не растет, свободной есть, играюсь с размерами буферов - не помогает(

подскажите, пожалуйста, можно ли настроить автоматическую генерацию значения в uuid-колонке на уровне таблицы? чтобы при инсертах это не нужно было указывать?

извините за долгий ответ https://github.com/Altinity/clickhouse-operator/issues/636#issuecomment-766818294

columnn default generateUUIDv4() может сработать

при создании таблицы с engine=Buffer
есть параметры типа max_bytes
https://clickhouse.tech/docs/en/engines/table-engines/special/buffer/
он у вас сколько задан?

ENGINE = Buffer('db', 'tbl', 8, 1, 6, 6000, 20000, 25000000, 25000000)