ну, на больших объемах вашей проблемы не будет. у вас будет большой парт с куче данных. как я сказал, можете удостовериться сделав OPTIMIZE после вставок.

про OPTIMIZE я в курсе. Мне хочется, чтобы это делалось автоматом без лишних движений.

оно делается автоматом без лишних движений... вставляете в течении дня, к концу дня у вас условно 2-3 парта,
ставите очистку раз в 4 часа, один из них почистится, потом другой, потом третий...
если хотите именно одним махом почистить все во всех таблицах - то вам лучше делать materialize ttl по расписанию.

поясниите логику

раз в 10 минут запускается *один* мердж. если эти три строки в разных партах, они удалятся за 3 итерации.

раз в 10 минут запускается *один* мердж. если эти три строки в разных партах, они удалятся за 3 итерации.

один раз в 10 минут (у вас таймаут в 600 выставлен),  ТТЛ-cleanup применяется к одному парту ( а может и нескольким, тут я не 100% уверен, но точно не всем)

Проблема как раз была на больших объемах
Данные были партиционированы по дню, ttl стоял 3 дня
В итоге данные не чистились

Какой интервал был и сколько партов на день в среднем?

Добрый день. Есть вопрос по встроенной хэш функции sipHash64()

Я попробовал сгенерировать хэш используя библиотеку для Java http://www.forward.com.au/pfod/SipHashJavaLibrary/SipHashTests.java для одной и той же строки Мой код на Java и CH выдает разные результаты


На джава код такой:

SipHash_2_4 sipHash = new SipHash_2_4();
        long result = sipHash.hash(key, "abc".getBytes());
        System.out.print(result);
        assertTrue( true );

Выдает 6754548778392356773

CH же выдает при вызове

select sipHash64('abc')

результат
4596069200710135518


Подскажите пожалуйста в чем может быть причина?

Скажите, какие есть хорошие практики для создания бэкапов?

меня могут закидать какашками - но на данный момент они все плохие )))
а вообще, это freeze для копирования данных и копирование контента папочек metadata ...

беда)

если базу никто руками не дропнет, можно сделать доп реплики

подскажите, пожалуйста, можно как-то указать часовой пояс при http инсертах?

а если использовать clickhouse-copier?

у всех есть плюсы и минусы... в зависимости от конкретного кейса что то будет лучше для вас, мы пока вообще по настоящему не бэкапим (
короче, я не пианист в этом пока, может ещё кто подскажет

получаю в логах ошибку:

DB::Exception: Table structure in ZooKeeper is too different from local table structure

можете подсказать как обновить структуры таблиц в ZK?

Ребята, добрый день
Подскажите, в двух словах
у меня сервре КХ, хочу без даунтайма сделать «зеркало» на втором сервере, чтобы приложение читало от туда
это возможно быстро и без даунтайма и боли?

варианты:
через репликацию, но для этого на основном сервере таблицы должны реплицированные быть и нужен zookeeper. но это самый нормальный вариант

сделать на 1 первом сервере distributed таблицу которая смотрит только на второй сервер, сделать MV которая будет дублировать все вставки в эту distributed таблицу и отдельным INSERT SELECT вставить старые данные

использовать "репликацию" которая встроена в движок distributed таблиц, грубо говоря дублирует все вставки в обе таблицы

Два последних варианта особо не надежны, и часть данных может до 2 сервера не долететь

хм… спасибо за инфу и время!

хороших, подходящих для всех нет
но в доках описаны такие варианты
clickhouse-backup
специальная реплика+ snapshot fs
параллельный независимый пайплайн ETL
пользоватся яндекс.облаком там уже сделаны хорошие бекапы:)