ну автоматического решардинга нет.

первый шард остается
либо переинсертить данные в новую distributed таблицу из старой
либо перенести часть партиций на новые новые ноды rsync-м

UUID хоть как то гарантирует свою уникальность?

добрый день коллеги, подскажите, как можно избавиться от дублей записей, если они не схлопнулись самим CH при движке MergeTree
может есть какой-то запрос для принудительного схлопывания?

optimize table

Обычный MergeTree не слопывает дублик. Может у вас ReplacingMergeTree?

да, прошу прощения, ReplacingMergeTree(), конечно

Дедупликация данных производится лишь во время слияний. Слияние происходят в фоне в неизвестный момент времени, на который вы не можете ориентироваться. Некоторая часть данных может остаться необработанной. Хотя вы можете вызвать внеочередное слияние с помощью запроса OPTIMIZE, на это не стоит рассчитывать, так как запрос OPTIMIZE приводит к чтению и записи большого объёма данных.

Таким образом, ReplacingMergeTree подходит для фоновой чистки дублирующихся данных в целях экономии места, но не даёт гарантии отсутствия дубликатов.

https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/replacingmergetree/

нет, но дубликаты очень очень очень маловероятны

как правильнее избавиться от дублей?

сначала понять что они дубли. Дубли схлопываются только в шарде в партиции. Если дубли на разных шардах то нет, если дубли в разных партициях то нет

Понял, спасибо

у нас без шардирования, дубли по идее в 1 партиции (партиционирование по дате) в дублях даты идентичны

вариантов много, например дубли в одном парте

set optimize_throw_if_noop=1; -- бросать ошибку почему не стартует optimize

create table a (A Int64) Engine=ReplacingMergeTree order by A;

insert into a values (1), (1);

select *,_part from a
┌─A─┬─_part─────┐
│ 1 │ all_1_1_0 │
│ 1 │ all_1_1_0 │
└───┴───────────┘

set optimize_throw_if_noop=1;

optimize table a;

DB::Exception: Cannot OPTIMIZE table: There is no need to merge parts according to merge selector algorithm. Cannot select parts for optimization.

optimize table a final;

select *,_part from a
┌─A─┬─_part─────┐
│ 1 │ all_1_1_1 │
└───┴───────────┘

create table a (A Int64) Engine=ReplacingMergeTree order by A;

insert into a values (1), (1);

select *,_part from a
┌─A─┬─_part─────┐
│ 1 │ all_1_1_0 │
│ 1 │ all_1_1_0 │
└───┴───────────┘

set optimize_throw_if_noop=1;

optimize table a;

DB::Exception: Cannot OPTIMIZE table: There is no need to merge parts according to merge selector algorithm. Cannot select parts for optimization.

optimize table a final;

select *,_part from a
┌─A─┬─_part─────┐
│ 1 │ all_1_1_1 │
└───┴───────────┘

спасибо, попробуем

Ребят, привет

я случайно удалил данные из зк

как мне их восстановить?

метаинформацию о табличке удалил

https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/replication/#vosstanovlenie-v-sluchae-poteri-ili-povrezhdeniia-metadannykh-na-zookeeper-klastere

Восстановление в случае потери или повреждения метаданных на ZooKeeper кластере
Если данные в ZooKeeper оказались утеряны или повреждены, то вы можете сохранить данные, переместив их в нереплицируемую таблицу, как описано в пункте выше.



Преобразование из MergeTree в ReplicatedMergeTree
Здесь и далее, под MergeTree подразумеваются все движки таблиц семейства MergeTree, так же для ReplicatedMergeTree.

Если у вас была таблица типа MergeTree, репликация которой делалась вручную, вы можете преобразовать её в реплицируемую таблицу. Это может понадобиться лишь в случаях, когда вы уже успели накопить большое количество данных в таблице типа MergeTree, а сейчас хотите включить репликацию.

Если на разных репликах данные отличаются, то сначала синхронизируйте их, либо удалите эти данные на всех репликах кроме одной.

Переименуйте имеющуюся MergeTree таблицу, затем создайте со старым именем таблицу типа ReplicatedMergeTree.
Перенесите данные из старой таблицы в поддиректорию detached в директории с данными новой таблицы (/var/lib/clickhouse/data/db_name/table_name/).
Затем добавьте эти куски данных в рабочий набор с помощью выполнения запросов ALTER TABLE ATTACH PARTITION на одной из реплик.

спасибо большое