DC
Добрый вечер. Подскажите, пожалуйста использование OPTIMIZE TABLE для принудительного "схлопывания" записей в таблицах ReplacingMT является "штатной" операцией или же это с точки зрения Clickhouse операция обслуживания и использовать её в продакашене для принудительного схлопывания не есть хорошо.
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/replacingmergetree/
Хотя вы можете вызвать внеочередное слияние с помощью запроса OPTIMIZE, на это не стоит рассчитывать, так как запрос OPTIMIZE приводит к чтению и записи большого объёма данных.
Таким образом, ReplacingMergeTree подходит для фоновой чистки дублирующихся данных в целях экономии места, но не даёт гарантии отсутствия дубликатов.
>* регулярно использовать. т.е загрузил файл , запустил схлопывание по партициям
можно конечно.
Другой вопрос, вот если я захочу помержить 7 партов за январь 2020 в один парт Final, это вызовет чтение 7 партов по 150ГБ, они разожмутся, сольются и запишутся на диск в парт размером 1TБ , это займет пару дней, в это время все будет несколько тормозить, и все будут огорчены.
Хотя вы можете вызвать внеочередное слияние с помощью запроса OPTIMIZE, на это не стоит рассчитывать, так как запрос OPTIMIZE приводит к чтению и записи большого объёма данных.
Таким образом, ReplacingMergeTree подходит для фоновой чистки дублирующихся данных в целях экономии места, но не даёт гарантии отсутствия дубликатов.
>* регулярно использовать. т.е загрузил файл , запустил схлопывание по партициям
можно конечно.
Другой вопрос, вот если я захочу помержить 7 партов за январь 2020 в один парт Final, это вызовет чтение 7 партов по 150ГБ, они разожмутся, сольются и запишутся на диск в парт размером 1TБ , это займет пару дней, в это время все будет несколько тормозить, и все будут огорчены.