Size: a a a

ClickHouse не тормозит

2021 January 27

S

Slach in ClickHouse не тормозит
Ilia Ablamonov
128гб, 48 логических ядра
смотрите по времени в system.metric_log CurrentMetric_* поля которые с памятью связаны также
источник

IA

Ilia Ablamonov in ClickHouse не тормозит
версия если что 20.6.3.28
источник

IA

Ilia Ablamonov in ClickHouse не тормозит
ага
источник

S

Slach in ClickHouse не тормозит
Ilia Ablamonov
понял. мутацию запускаем в свободное время, запросов вроде в это время вообще нет, но спасибо за наводку, буду смотреть детальнее
можно поглядеть в сторону каких нибудь кривых вставок в SQL формате которые переключаются на AST parsing вместо streaming parsing потому что SQL функции используют в запросе

можно поглядеть в сторону кривых запросов из distributed или просто кривых запросов которые делают ORDER BY на большое кол-во rows и выделяют для этого память
источник

MI

Maksim Ivanyukhin in ClickHouse не тормозит
у nginx https://nginx.org/ru/docs/http/ngx_http_core_module.html
есть
$request_id
уникальный идентификатор запроса, сформированный из 16 случайных байт, в шестнадцатеричном виде
id получаются вида 00000dd90433add216072b5d97366a3f

что от UUID https://clickhouse.tech/docs/ru/sql-reference/data-types/uuid/ отличается только представлением

есть ли кто-то столкнется с желанием писать это как UUID, у меня получилась такая конструкция:

select UUIDNumToString(toFixedString(unhex('00000dd90433add216072b5d97366a3f'),16))
источник

S

Slach in ClickHouse не тормозит
Maksim Ivanyukhin
у nginx https://nginx.org/ru/docs/http/ngx_http_core_module.html
есть
$request_id
уникальный идентификатор запроса, сформированный из 16 случайных байт, в шестнадцатеричном виде
id получаются вида 00000dd90433add216072b5d97366a3f

что от UUID https://clickhouse.tech/docs/ru/sql-reference/data-types/uuid/ отличается только представлением

есть ли кто-то столкнется с желанием писать это как UUID, у меня получилась такая конструкция:

select UUIDNumToString(toFixedString(unhex('00000dd90433add216072b5d97366a3f'),16))
а вот вам потом эта информация зачем? ;)
она же высоко кардинальная. ну максимум для аггрегации типа uniq годится, но места весит дофига
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
Привет
Что делать с ошибкой
Code: 473, e.displayText() = DB::Exception: WRITE locking attempt on "table_name" has timed out! (120000ms) Possible deadlock avoided. Client should retry. (version 20.11.5.18 (official build))
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
ретрай разумеется не помогает
источник

S

Slach in ClickHouse не тормозит
Oleg Bazdyrev
Привет
Что делать с ошибкой
Code: 473, e.displayText() = DB::Exception: WRITE locking attempt on "table_name" has timed out! (120000ms) Possible deadlock avoided. Client should retry. (version 20.11.5.18 (official build))
SELECT * FROM system.processes
искать ALTER TABLE
который залочил таблицу
но вообще в 20.11 у вас вроде atomic должен быть
и ALTER TABLE неблокирующий никак

это на какой запрос вам такая ошибка прилетела?
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
Slach
SELECT * FROM system.processes
искать ALTER TABLE
который залочил таблицу
но вообще в 20.11 у вас вроде atomic должен быть
и ALTER TABLE неблокирующий никак

это на какой запрос вам такая ошибка прилетела?
drop partition
источник

S

Slach in ClickHouse не тормозит
Oleg Bazdyrev
drop partition
SELECT * FROM system.merges
может какой нибудь мерж партицию залочил
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
ага, похоже мерж виноват
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
ждать завершения? или прибить можно?
источник

S

Slach in ClickHouse не тормозит
SYSTEM STOP MERGES; DROP PARTITION ...  ; SYSTEM START MERGES;
источник

MI

Maksim Ivanyukhin in ClickHouse не тормозит
Slach
а вот вам потом эта информация зачем? ;)
она же высоко кардинальная. ну максимум для аггрегации типа uniq годится, но места весит дофига
например, чтобы иметь возможность отследить прохождение запроса по всем сервисам

но это не входит в тематику данного чата
источник

VR

Vladimir Rudev in ClickHouse не тормозит
О как, разве мерж должен лочить партицию как-то? Там же создание нового файла и просто замена указателей в мете по идее. Ну ок, может на долю секунды, но и то - записи он не должен лочитьпо идее
источник

S

Slach in ClickHouse не тормозит
Oleg Bazdyrev
ждать завершения? или прибить можно?
дождаться придется, через SYSTEM STOP MERGES там вроде только флаг выставляется, я не помню текущий мерж этот флаг наверное периодически читает. но не факт
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
Slach
дождаться придется, через SYSTEM STOP MERGES там вроде только флаг выставляется, я не помню текущий мерж этот флаг наверное периодически читает. но не факт
да вроде уже помогло
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
там один мерж 2.5 часа висел
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
Спасибо!
источник