RO
20.1? Починено
Connected to ClickHouse server version 19.15.3 revision 54426.
Size: a a a
2020 June 30
DC
Коллеги подсказывают, что секреты есть
Интересен наверное файл partition.idx там 4 байта и partition by таблицы
RO
20.1? Починено
а можно ссылку на тикет посмотреть куда этот баг фиксить будут?
DC
Required Optional
Connected to ClickHouse server version 19.15.3 revision 54426.
Значит другое.
RO
очень похоже, так как КХ просил создать ноду, а зукипер говорил, что она уже существует. Лечится удалением ноды в зукиппере.
DC
Required Optional
очень похоже, так как КХ просил создать ноду, а зукипер говорил, что она уже существует. Лечится удалением ноды в зукиппере.
хаха как раз подумал про insert deduplication
что вы его описали
это фича replicated
что вы его описали
это фича replicated
RO
Короче есть симптомы следующего характера: на 19.15.3 и даже вроде на 20.3. Есть реплицируемая таблица ReplicatedMergeTree на кластере 2х2 небольшого размера.(поэтому и нашли, что небольшая) добавляем туда строки. потом удаляем с помощью ДДЛ типа ALTER TABLE XXX DELETE WHERE condtion, где condition достаточно сложный и затрагивает оба шарда и больше партиции. Проверяем - иногда не все строки из условия удалились. Если это произошло - вставляем строки. КХ говорит, что все ок, но если взять селект, то не все строки вставились. Идем в зукипер там и видим, что зукипер информирует КХ, что нод, что он запрашивает - уже существует. удаляем ноду и заново вставляем и тут уже вставляется.
RO
как поставлю дев кластер - попробую сделать рабочий кеэйс
DC
Required Optional
Короче есть симптомы следующего характера: на 19.15.3 и даже вроде на 20.3. Есть реплицируемая таблица ReplicatedMergeTree на кластере 2х2 небольшого размера.(поэтому и нашли, что небольшая) добавляем туда строки. потом удаляем с помощью ДДЛ типа ALTER TABLE XXX DELETE WHERE condtion, где condition достаточно сложный и затрагивает оба шарда и больше партиции. Проверяем - иногда не все строки из условия удалились. Если это произошло - вставляем строки. КХ говорит, что все ок, но если взять селект, то не все строки вставились. Идем в зукипер там и видим, что зукипер информирует КХ, что нод, что он запрашивает - уже существует. удаляем ноду и заново вставляем и тут уже вставляется.
Вы описываете базовую основопологающую функциональсть кх. Дедупликацию инсертов. Инсерт в replicated таблицу пропускается если точно такой же инсерт уже был. Есть параметр который это отключает insert_deduplicate=0
RO
а причем тут это. КХ ошибается, так как данных уже нет...
RO
они были удалены например DELETE WHERE...
DC
Required Optional
а причем тут это. КХ ошибается, так как данных уже нет...
Кх пофиг на данные таблицы, проверяется содержимое инсерт
Нельзя проверить что их нет в таблице, это не так работает
Нельзя проверить что их нет в таблице, это не так работает
DC
Required Optional
а причем тут это. КХ ошибается, так как данных уже нет...
DC
Просто добавьте поле batch_id и вставляйте туда uuid или время чтобы инсерты отличались
RO
Кх пофиг на данные таблицы, проверяется содержимое инсерт
Нельзя проверить что их нет в таблице, это не так работает
Нельзя проверить что их нет в таблице, это не так работает
спасибо за ссылки!
RO
хм хотя вопросы остаются - почему только часть инсертов не проходят? только на одном из шардов?
DC
Required Optional
хм хотя вопросы остаются - почему только часть инсертов не проходят? только на одном из шардов?
Доку читайте про replicated и про insert_deduplicate
VB
Required Optional
Короче есть симптомы следующего характера: на 19.15.3 и даже вроде на 20.3. Есть реплицируемая таблица ReplicatedMergeTree на кластере 2х2 небольшого размера.(поэтому и нашли, что небольшая) добавляем туда строки. потом удаляем с помощью ДДЛ типа ALTER TABLE XXX DELETE WHERE condtion, где condition достаточно сложный и затрагивает оба шарда и больше партиции. Проверяем - иногда не все строки из условия удалились. Если это произошло - вставляем строки. КХ говорит, что все ок, но если взять селект, то не все строки вставились. Идем в зукипер там и видим, что зукипер информирует КХ, что нод, что он запрашивает - уже существует. удаляем ноду и заново вставляем и тут уже вставляется.
а вы все это в рамках одной сессии делаете? если да, то такое поведение очевидное
RO
да нет в рамках ЕТЛ когда башовый скрипт гонит квери типа clickhouse-client — query "INSERT INTO XXX SELECT x,y,z FROM YYY"
DC
Required Optional
да нет в рамках ЕТЛ когда башовый скрипт гонит квери типа clickhouse-client — query "INSERT INTO XXX SELECT x,y,z FROM YYY"
по умочанию дедуплицируются 100 последних инсертов