Size: a a a

ClickHouse не тормозит

2020 June 15

SL

Sergey Lossev in ClickHouse не тормозит
Ну и до кучи
источник

SL

Sergey Lossev in ClickHouse не тормозит
Перезапуск может занимать минуты, если не десяток. Это никуда не годится
источник

DT

Dmitry Titov in ClickHouse не тормозит
Sergey Lossev
Всем привет

Почему может постоянно лочиться таблица???
DB::Exception: WRITE locking attempt on "data_flat.flat_temp" has timed out! (120000ms) Possible deadlock avoided. Client should retry


Стабильно раз в несколько дней. И ничто не помгает - только полный перезапуск КХ и ручное вычищение партиций, "которые должны быть удалены". Ну это ж не дело... Заколебало, если честно...
много запросов идут в эту таблицу?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Lossev
Перезапуск может занимать минуты, если не десяток. Это никуда не годится
сколько у партов в этой таблице ?
источник

SL

Sergey Lossev in ClickHouse не тормозит
Dmitry Titov
много запросов идут в эту таблицу?
Достаточно одного, на удаление партиции. Других запросов параллельно не выполняется
источник

SL

Sergey Lossev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
сколько у партов в этой таблице ?
Партиций много. Щас прикину ...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Lossev
Партиций много. Щас прикину ...
да не партиций, партов select count() from system.parts where table='' and active
источник

DT

Dmitry Titov in ClickHouse не тормозит
вообще в марте добавляли неблокирующие альтеры, может что то не совсем хорошо работает
я тоже натыкался на дедлок авойдед, но у меня в таблицы летят запросы
источник

SL

Sergey Lossev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да не партиций, партов select count() from system.parts where table='' and active
5669
источник

SL

Sergey Lossev in ClickHouse не тормозит
источник

SL

Sergey Lossev in ClickHouse не тормозит
Может, где-то здесь проблему поискать?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
issue надо на гитхабе с полным log и описанием, это явно проблема в 20.4 + кол-во партов
источник

ДГ

Дима Гуманов... in ClickHouse не тормозит
Всем привет, кликхаусе под нагрузкой в 300 rps начинает выдавать вот это - Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 28.14 GiB (attempt to allocate chunk of 4197612 bytes), maximum: 28.14 GiB как поднять этот лимит?
источник

O

Oleg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
аа, я думал timestamp одинаковый ясно

попробуйте 19.17.9.60, был баг про > 10 условий в where
починилось
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleg
починилось
лучше вообще отктатися на самую последнюю 19.16. 19.17 брошенный сирота инвалид
источник

O

Oleg in ClickHouse не тормозит
страшно. У нас прод уже на 19.17 работает неск месяцев
источник

O

Oleg in ClickHouse не тормозит
Дима Гуманов
Всем привет, кликхаусе под нагрузкой в 300 rps начинает выдавать вот это - Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 28.14 GiB (attempt to allocate chunk of 4197612 bytes), maximum: 28.14 GiB как поднять этот лимит?
max_memory_usage_for_all_queries
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дима Гуманов
Всем привет, кликхаусе под нагрузкой в 300 rps начинает выдавать вот это - Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 28.14 GiB (attempt to allocate chunk of 4197612 bytes), maximum: 28.14 GiB как поднять этот лимит?
какая версия КХ ? Сколько памяти?
источник

SL

Sergey Lossev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
issue надо на гитхабе с полным log и описанием, это явно проблема в 20.4 + кол-во партов
Есть смысл какими-то параметрами побаловаться?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Lossev
Есть смысл какими-то параметрами побаловаться?
начать надо с апргрейда в 20.4.5.36, потому что Possible deadlock avoided чинили вот только что
источник