Size: a a a

ClickHouse не тормозит

2020 June 17

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
нет, интересует именно RAM для диагностики OOM, не всегда понятны причины DB::Exception: Memory limit. В некоторые моменты вылетает в то время когда память есть.
какая версия КХ?
источник

A

Andrey in ClickHouse не тормозит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
а , там проблема была да. Вам надо обновится до 20.1.14.107
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а , там проблема была да. Вам надо обновится до 20.1.14.107
ок, спасибо!
источник

OB

Oleg Bukatchuk in ClickHouse не тормозит
вам нужен мониторинг, так как в моменте значение вам ни о чём не скажет.
источник

DZ

Dmitry Zaytsev in ClickHouse не тормозит
Добрый день.  Подскажите, SummingMergeTree схлопывает значения с одинаковыми ключами да? но не сразу?
источник

DZ

Dmitry Zaytsev in ClickHouse не тормозит
а то вижу в новых поступлениях записи типа
источник

DZ

Dmitry Zaytsev in ClickHouse не тормозит
┌───────date─┬───────---──datetime─┬─server─┬───0.5─┬───0.6─┬───0.7─┬────0.8─┬────0.9─┬────0.99─┐ 
│ 2020-06-17 │ 2020-06-17 19:24:00 │ v-b-04 │ 0.162 │ 0.238 │ 0.531 │  0.861 │  1.544 │   5.913 │
│ 2020-06-17 │ 2020-06-17 19:24:00 │ v-b-04 │ 2.423 │ 3.126 │ 4.944 │ 11.887 │ 21.686 │  94.199 │
источник

DZ

Dmitry Zaytsev in ClickHouse не тормозит
а через какое то время уже только 1 время
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Zaytsev
Добрый день.  Подскажите, SummingMergeTree схлопывает значения с одинаковыми ключами да? но не сразу?
да, всегда все запросы в SummingMergeTree должны досуммировать, sum / group by ВСЕГДА, такой дизайн
источник

DZ

Dmitry Zaytsev in ClickHouse не тормозит
ага, спасибо
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Andrey
нет, интересует именно RAM для диагностики OOM, не всегда понятны причины DB::Exception: Memory limit. В некоторые моменты вылетает в то время когда память есть.
Ха, тоже сегодня полдня протрахались, думая, с какого хрена на единичных инсертах вставка падает, требуя аж 13 гигофф оперативки.
Полечилось вот этим параметром:  <max_server_memory_usage_to_ram_ratio>100</max_server_memory_usage_to_ram_ratio>
Как всегда в документации ниче особеного про это нету, а вот подиж ты ...
источник

A

Andrey in ClickHouse не тормозит
Yuri Velgosha
Ха, тоже сегодня полдня протрахались, думая, с какого хрена на единичных инсертах вставка падает, требуя аж 13 гигофф оперативки.
Полечилось вот этим параметром:  <max_server_memory_usage_to_ram_ratio>100</max_server_memory_usage_to_ram_ratio>
Как всегда в документации ниче особеного про это нету, а вот подиж ты ...
а чего хоть делает эта пропертя то?
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Ну, как из интернетов писано  - для нищебродских серверов с ограниченным количестом памяти ограничивает общий объем памяти, занимаемый процессом.. У них просто трекер памяти какой-то глючный был, они его полностью переписали в 20.х какой-то версии, ну вот и появился этот параметр...
источник

YV

Yuri Velgosha in ClickHouse не тормозит
У нас версия 19.16.3.6 была, с адовыми глюками уехали на   20.4.4.18, как оказалось, всё из-за этого нового параметра конфига.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
max_server_memory_usage_to_ram_ratio появился только в 20.4
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
а чего хоть делает эта пропертя то?
это новая фича вместо memory_for_all.
КХ следит за своим RSS и не разрешает RSS-у вылезать за max_server_memory_usage_to_ram_ratio*размер_памяти
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
по умолчанию max_server_memory_usage_to_ram_ratio=0.9
источник

A

Andrey in ClickHouse не тормозит
А когда вылезает, что происходит? Киляются запросы?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
<max_server_memory_usage_to_ram_ratio>100 -- значит что можно КХ-зу откушать кол-во озу*100
источник