Size: a a a

ClickHouse не тормозит

2021 March 20

A

Andrey in ClickHouse не тормозит
Dj
А сорри, имеете ввиду в папке детачед пусто?
Да
источник

D

Dj in ClickHouse не тормозит
Andrey
Да
Но кх стартует?
источник

A

Andrey in ClickHouse не тормозит
Dj
Но кх стартует?
С флагом force_restore_data
источник

D

Dj in ClickHouse не тормозит
Проверьте появляются ли у вас расхождения без рестарта. Если да смотрите логи, че то с зк у вас не то, либо баг
источник

A

Andrey in ClickHouse не тормозит
Dj
Проверьте появляются ли у вас расхождения без рестарта. Если да смотрите логи, че то с зк у вас не то, либо баг
Ну, запись в эту таблицу не идет
источник

D

Dj in ClickHouse не тормозит
Andrey
Ну, запись в эту таблицу не идет
Ну другую сделайте. У вас вряд ли проблема на уровне таблицы
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrey
ЕМНИП да, можно выполнить последовательное. но желательно плавно, от версии к версии
Про плавное -- это чушь
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrey
Опять повторилась.
The local set of parts of table default.adcreative_info_1_facebook (d2a91da9-3c4d-46a6-a14d-759a1fc7edaa) doesn't look like the set of parts in ZooKeeper: 4.28 thousand rows of 6.82 thousand total rows in filesystem are suspicious. There are 9 unexpected parts with 4280 rows 

Только вот там нет ни столько строк, ни столько партов.
В докере?
источник

A

Andrey in ClickHouse не тормозит
Да, k8s
источник

A

Andrey in ClickHouse не тормозит
Ну что, я запустил снова с force_restore_data и ищу по логам. В них куча записей о переименовании партов нулевого уровня в ignored_ и пропуске
источник

A

Andrey in ClickHouse не тормозит
Но этих партов нигде нет в ZK - включая /table/blocks
источник

A

Andrey in ClickHouse не тормозит
В detached тоже пусто
источник

A

Andrey in ClickHouse не тормозит
Куда еще можно посмотреть?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrey
Ну что, я запустил снова с force_restore_data и ищу по логам. В них куча записей о переименовании партов нулевого уровня в ignored_ и пропуске
>В них куча записей о переименовании партов нулевого уровня в ignored_ и пропуске
а что k8s pod terminate был?
есть сообщения про ошибки зукипера в момент пока парты создавались / мержились
источник

A

Andrey in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
>В них куча записей о переименовании партов нулевого уровня в ignored_ и пропуске
а что k8s pod terminate был?
есть сообщения про ошибки зукипера в момент пока парты создавались / мержились
Ну да, я терминейтнул под для воспроизведения ошибки. Связанных с ZK ошибок в логах не вижу. При этом, перед перезапуском записи в таблицу не было, в каждой партиции по парту и сейчас с force_restore_data они же и остались. Откуда КХ может взять инфу о партах?
источник

A

Andrey in ClickHouse не тормозит
Они либо в своих директориях, либо в detached. Вот я сейчас опять перезапущу и стопудово в логах опять появятся записи о переименовании тех же непонятно откуда взявшихся партах.
источник

A

Anton in ClickHouse не тормозит
Подскажите, как лучше поступить при оптимизации запроса.

Имеется запрос который на уровне событий собирает данные о пользователе, такие как: изначальные идентификаторы и текущий идентификатор.

Запрос сильно упирается в оперативу.


Первые idшники берутся как anyIf()с проверкой на пустые id
Текущий как anyLastIf() c проверкой на дефолтный id
источник

A

Andrey in ClickHouse не тормозит
Andrey
Они либо в своих директориях, либо в detached. Вот я сейчас опять перезапущу и стопудово в логах опять появятся записи о переименовании тех же непонятно откуда взявшихся партах.
Впрочем, вон я тут вижу, что в wal.bin есть какие-то данные
источник

D

Dj in ClickHouse не тормозит
Andrey
Впрочем, вон я тут вижу, что в wal.bin есть какие-то данные
можете попробовать выключить inmemory parts? может в них дело
источник

A

Andrey in ClickHouse не тормозит
Dj
можете попробовать выключить inmemory parts? может в них дело
Да вот я к этому это и написал. Попробую просто грохнуть wal пока
источник