Size: a a a

ClickHouse не тормозит

2020 August 06

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Кроме репликация, ещё есть варианты?
alter table freeze
копируете из shadow на новый сервер rsync-м , там attach
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nick Nizovtsev
а что посоветуете чтобы просанировать ситуацию с кучей мелких мутаций?
не делать мутаций вообще, это админский инструмент, чтобы решать проблемы типа gdpr
не делать мелкие, делать крупные мутации
смотреть в system.mutation / system.merges для понимания текущего состояния

ускорить мутации нельзя, точнее можно сделать больше одновременных мутаций, настроив больше  background pool-в
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
а если всё таки необходимость есть, можно ли както нормализовать работу таблицы? желательно без создания новой таблицы )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nick Nizovtsev
а если всё таки необходимость есть, можно ли както нормализовать работу таблицы? желательно без создания новой таблицы )
я не понимаю в чем сейчас проблема
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
были залиты десяток тысяч ALTER DELETE и наблюдаю длительное время что is_done в мутациях не растёт, а пользование таблицей практически стало нереальным
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nick Nizovtsev
были залиты десяток тысяч ALTER DELETE и наблюдаю длительное время что is_done в мутациях не растёт, а пользование таблицей практически стало нереальным
kill mutation where not is_done  
отменить всЕ и больше не запускать это
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
а в чем проблема, движок не сможет проглотить?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nick Nizovtsev
а в чем проблема, движок не сможет проглотить?
мутации банально если упростить перезаписывают всю таблицу без удаленных / или c измененной строками
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
понял засаду - спасибо
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
киллер тоже подвис )
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
kill mutation where not is_done  
отменить всЕ и больше не запускать это
есть варианты как ускорить процесс? KILL MUTATION WHERE NOT is_done ASYNC - висит уже больше 20 минут
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
переоценил возможности движка
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
знаю что оно не для этого
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nick Nizovtsev
есть варианты как ускорить процесс? KILL MUTATION WHERE NOT is_done ASYNC - висит уже больше 20 минут
надо смотреть что в лог КХ чтобы понять что происходит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
обычная таблица ? не replicated ?
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
реплицированная
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nick Nizovtsev
реплицированная
скорее всего мержи блокируют . что в
select  table, elapsed, progress, memory_usage from system.merges
долго там еще?
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
──────elapsed─┬─progress─┬─memory_usage─┐
504.828588304 │        0 │    510681232 │
503.550474278 │        0 │    502397328 │
 3.334264938 │        0 │    515521152 │
 3.301880644 │        0 │    297412272 │
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
строки постоянно меняются - чтото шуршит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
2 мержа -- 500 сек. 0% ?
источник