NN
спасиб
Size: a a a
2020 August 06
КТ
и merges я с ходу не вспомню но там что нибудь типа "where table=" так же
A
Всем привет, хочу переключить приложении на новый КХ, репликация не настроена, как мне до залить свежие данные со старого КХ в новый КХ и не затереть данные в новом?
Y
Всем привет, хочу переключить приложении на новый КХ, репликация не настроена, как мне до залить свежие данные со старого КХ в новый КХ и не затереть данные в новом?
Настроить репликацию?
Y
Y
(можно сконвертировать существующий MergeTree в ReplicatedMergeTree)
A
Кроме репликация, ещё есть варианты?
Y
Кроме репликация, ещё есть варианты?
Можно остановить КХ и сделать rsync, но репликация позволяет сделать то же самое без длительного downtime
Y
(репликация данных не затрет существующие записи в новом КХ)
A
Можно остановить КХ и сделать rsync, но репликация позволяет сделать то же самое без длительного downtime
а если попробовать через INSERT INTO... SELECT * from remote()...?
Y
а если попробовать через INSERT INTO... SELECT * from remote()...?
Зависит от того, сколько у Вас данных. Если их много (скажем, больше 10 Гб), я бы не советовал, ибо этот запрос будет неатомарным
Y
(а ещё он будет намного медленней чем что репликация, что ручной rsync)
Y
В общем, если хотите самое простое и надежное решение, то переделайте свои MergeTree в ReplicatedMergeTree и ClickHouse всё сам смержит, даже не заметите
Y
Если хотите геморроя, то пожалуйста, делайте rsync, INSERT INTO SELECT FROM remote(), используйте clickhouse-copier, и прочее
A
Зависит от того, сколько у Вас данных. Если их много (скажем, больше 10 Гб), я бы не советовал, ибо этот запрос будет неатомарным
Данных не должно быть много, только за 6-7 число надо будет до залить
A
В общем, если хотите самое простое и надежное решение, то переделайте свои MergeTree в ReplicatedMergeTree и ClickHouse всё сам смержит, даже не заметите
Просто версии КХ разные и структура таблиц старая на старом КХ
Y
Просто версии КХ разные и структура таблиц старая на старом КХ
Если структура таблиц отличается, то их всегда можно привести к одному знаменателю, добавив недостающие колонки
Y
Данных не должно быть много, только за 6-7 число надо будет до залить
Если так, то INSERT INTO SELECT может сработать, но я бы вставлял небольшими пачками (по ~1 млн строк) на всякий случай, чтобы точно INSERT был атомарным и также чтобы потребление памяти было под контролем
DC
Привет всем, запустил в базу кучу мелких альтер удалений, запустил оптимайз на таблицу, параллельно посматриваю is_done, но что-то как-то они не прибавляются, как мониторить процесс накатывания мутаций?
мониторю завершенность так:
мониторю завершенность так:
select is_done, count() from system.mutations where table='table_name’ group by is_doneoptimize вообще не имеет отношения к мутациям, и только мешает, вы себе в колено стреляете.
NN
optimize вообще не имеет отношения к мутациям, и только мешает, вы себе в колено стреляете.
а что посоветуете чтобы просанировать ситуацию с кучей мелких мутаций?