Все привет!

Подскажите, как можно перегонять большие объёмы данных внутри ClickHouse между таблицами.

Есть таблица с одним видом партиционирования, уже заполненная данными, хочу попробовать иное партиционирование, посмотреть перфоманс.

Но если создать новую таблицу и попытаться перегнать туда данные (200 млн строк), то сталкиваюсь с ошибкой вида:

Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 4194704 bytes), maximum: 9.31 GiB: While executing MergeSortingTransform (version 20.8.2.3 (official build))

Есть ли какие-то best-practices для таких нужд?

Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 4194704 bytes), maximum: 9.31 GiB: While executing MergeSortingTransform (version 20.8.2.3 (official build))

ничего умнее
INSERT INTO new_table () SELECT ... FROM old_table нет

ошибка означает что ваш новый вид "партицирования"
хочет много памяти для того чтобы пересортировать ваш новый PRIMARY KEY
и упирается в max_memory_usage или что-то подобное

https://clickhouse.tech/docs/en/sql-reference/statements/select/#implementation-details

попробуйте уменьшить значение max_bytes_before_external_sort
SET max_bytes_before_external_sort=...; INSERT ... SELECT
или
INSERT ... SELECT ... SETTINGS max_bytes_before_external_sort=...
или через query string передавайте если у вас HTTP протокол

Спасибо! Попробую

На таблицах похожего размера (200 - 300 млн строк) и схожей задачи (INSERT ... SELECT ..) нам пришлось увеличить Memory limit (for query) до 128G.

коллеги, такой вопрос, верно ли утверждение что в реплицируемой таблице, после того как парты реплицированны, и эти же парты смерджены локально, новый полученый парт никак уже в репликации не участвует?

это если память есть
если памяти нет, то можно пытаться играться с производительностью иногда даже оно без сильного ущерба для производительности проходит

Всем привет!
Подскажите пожалуйста как сделать следующее:
Имеется массив строк, с повторяющимися элементами например такой [a, b, c, d, a, b, a, b, c]
Нужно разбить этот массив на подмассивы таким образом {[a, b, c, d], [a, b], [a, b, c]} то есть разделить так, чтобы каждый подмассив начинался со строки а.

arraySplit((x) -> x=a,arr)

Спасибо

Коллеги, подскажите, гарантирует ли CH, что в GROUP BY запросе с несколькими groupArray(x), groupArray(y) вставки в массивы x, y будут происходить в одном порядке?

Всем привет. Не знает, как сделать, чтоб material_view досчитал все? Просто некоторые записи не появляются, хотя должны были.

я бы сказал да,
Но можешь сделать еще вот так groupArray((x,y)) as arr, arr.1, arr.2

тогда будет гарантированно

MAT VIEW в кх это INSERT триггер, так что должно сразу появлятся

ищите проблему

Отлично, спасибо большое!

SETTINGS max_execution_time = 200

Обычно ставят такую настройку?

Возможно из-за нее

А как безболезненно в фоне тогда выполнить POPULATE?