Size: a a a

ClickHouse не тормозит

2020 September 25

ML

Mimik Lamerger in ClickHouse не тормозит
вопрос остался открытым, как бы КХ попросить отдать память =)
источник

R

RapidCodeLab in ClickHouse не тормозит
select date, avgIf(cpm, cpm != null) from mv_stat_by_date group by date  
почему это не работает? и должно ли? местами cpm = null, из за этого avg возвращает тоже null (
как игнорировать null ?
источник

D

Dj in ClickHouse не тормозит
Mimik Lamerger
и выборки бывают большие за неделю могут выбрать, но блин почему он память то не отдает в простое...
это норма. аллокатор КХ придерживает память для переиспользования. попросить не можете. подождать можете наверно
источник

DT

Dmitry Titov in ClickHouse не тормозит
RapidCodeLab
select date, avgIf(cpm, cpm != null) from mv_stat_by_date group by date  
почему это не работает? и должно ли? местами cpm = null, из за этого avg возвращает тоже null (
как игнорировать null ?
isNotNull(cpm)
И вообще сравнивать Null это неблагодарное дело, он же себе не равен :)
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dj
это норма. аллокатор КХ придерживает память для переиспользования. попросить не можете. подождать можете наверно
он только пухнет потихоньку, за полгода примерно разросся вот до 18 гигов и не прекращает...
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
он только пухнет потихоньку, за полгода примерно разросся вот до 18 гигов и не прекращает...
какая версия кх?
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
какая версия кх?
ClickHouse server version 19.15.3 revision 5442
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
ClickHouse server version 19.15.3 revision 5442
может утечка памяти есть какая, вообще вам бы обновится
источник

DT

Dmitry Titov in ClickHouse не тормозит
когда кх последний раз рестартился?
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
может утечка памяти есть какая, вообще вам бы обновится
на продакшене базу обновлять =) так себе идея...
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
когда кх последний раз рестартился?
полгода примерно
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
на продакшене базу обновлять =) так себе идея...
Для такого есть стейдж и не обновлять обычно будет еще хуже
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
Для такого есть стейдж и не обновлять обычно будет еще хуже
не у меня в целом очередь в ребите и если я отрублю вставку проблем не будет, потом из очереди наберется, но вот обновление поцесс не быстрый и ребит быстренько сожрет остатки памяти =)
источник

ML

Mimik Lamerger in ClickHouse не тормозит
ладно подумаю как красивее сделать это
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
не у меня в целом очередь в ребите и если я отрублю вставку проблем не будет, потом из очереди наберется, но вот обновление поцесс не быстрый и ребит быстренько сожрет остатки памяти =)
у вас кх и реббит на одном сервере?
источник

ML

Mimik Lamerger in ClickHouse не тормозит
надо мне просто перейти на KX целиком
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
у вас кх и реббит на одном сервере?
увы да, на одном сервере у меня KX, rabbit, cassandra, докер с забиксом, и микросервисы на яве и плюсах, а еще поверх этого nginx с крумной системой охраны недвижки =)) сервак не салабый все на nvme а вот с памятью чет маловато всего 64 гб
источник

DT

Dmitry Titov in ClickHouse не тормозит
Иметь лишние (так называемые треш программы) на одном сервере с кх это не лучший паттерн, кх очень активно умеет выжирать все ресурсы.
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
Иметь лишние (так называемые треш программы) на одном сервере с кх это не лучший паттерн, кх очень активно умеет выжирать все ресурсы.
это плохо, надо как-то ограничить кх =)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
это плохо, надо как-то ограничить кх =)
Плохо заставлять делить коммуналку:)

у кх есть mark cache который по дефолту 7гб, плюс индекс в оперативке сколько то гб занимает
Те даже без ликов кх может честно отъедать 10гб+ без запросов
источник