M
Это запуск мержа. Мерж воообще не гарантирует что не будет дубликатов.
Size: a a a
2021 March 05
M
Возможно, можно добавить final, но это не точно
O
В чем ваш вопрос ?
optimize table xxx DEDUPLICATE;
убирает только небольшую пачку дублей
убирает только небольшую пачку дублей
O
и работает полторы-две секунды
O
впрочем OPTIMIZE TABLE xxx FINAL DEDUPLICATE задумался
M
и работает полторы-две секунды
Потому что ClickHouse creates a task for merging
M
Из доки
O
Потому что ClickHouse creates a task for merging
а FINAL DEDUPLICATE при этом работает синхронно?
O
ну похоже final deduplicate вовсю работает, потихоньку дубли пропадают
O
а как вообще найти дубли по ключевым полям? в случае жирной таблицы?
O
казалось бы, таблица отсортирована по ним, можно тупо по порядочку идти и искать, а при аггрегации падает по памяти
ЛС
Привет
а OPTIMIZE DEDUPLICATE чтоли только кусок дедуплицирует?
а OPTIMIZE DEDUPLICATE чтоли только кусок дедуплицирует?
о, привет)))))
O
о, привет)))))
привет)
DT
ну похоже final deduplicate вовсю работает, потихоньку дубли пропадают
он убирает полные дубли.
> а как вообще найти дубли по ключевым полям? в случае жирной таблицы?
Не очень точно с помощью neighbour функции
> а как вообще найти дубли по ключевым полям? в случае жирной таблицы?
Не очень точно с помощью neighbour функции
AK
Nullable(SimpleAggregateFunction(max, DateTime)) DEFAULT NULL почему то схлопывает нормальную дату и null в null. Я не туда воюю?
IG
Добрый день, если я правильно понимаю, на clickhouse.tech/docs документация на master. Выкладывается ли куда-нибудь документация на стабильные релизы?
AZ
Добрый день, подскажите пожалуйста, где почитать про поведение Kafka движка и AvroConfluent формата при изменении схемы в регистре схем?
D
Nullable(SimpleAggregateFunction(max, DateTime)) DEFAULT NULL почему то схлопывает нормальную дату и null в null. Я не туда воюю?
Возможно надо поменять
Nullable(SimpleAggregateFunction(max, DateTime)) -> SimpleAggregateFunction(max, Nullable(DateTime))
Nullable(SimpleAggregateFunction(max, DateTime)) -> SimpleAggregateFunction(max, Nullable(DateTime))
MK
а есть фидбек по движку кафки и рабиту на сколько это стабильно теряет ли данные если ли дубли?
СЛ
Господа, подскажите, на 3х репликах одного шарда немного отличаются(кое где и "много") отличаются показатели по insert row, данные из system.events.
Правильно ли я понимаю, что туда попадают еще какие-то внутренние запросы, которые делает CH по преобразованию данных?
CH - 19.17.4.11
Пишем только в distributed таблицу. НЕреплицируемых таблиц в кластере КХ нету
Правильно ли я понимаю, что туда попадают еще какие-то внутренние запросы, которые делает CH по преобразованию данных?
CH - 19.17.4.11
Пишем только в distributed таблицу. НЕреплицируемых таблиц в кластере КХ нету