Size: a a a

ClickHouse не тормозит

2020 September 25

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
Иметь лишние (так называемые треш программы) на одном сервере с кх это не лучший паттерн, кх очень активно умеет выжирать все ресурсы.
заказчик всегда хочет много, быстро, стильно и устойчиво и бесплатно
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
заказчик всегда хочет много, быстро, стильно и устойчиво и бесплатно
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
Плохо заставлять делить коммуналку:)

у кх есть mark cache который по дефолту 7гб, плюс индекс в оперативке сколько то гб занимает
Те даже без ликов кх может честно отъедать 10гб+ без запросов
я могу выделить на него свободно 20гб у меня еще есть запас, но просто странно одна таблица и вот такая прожорливость, у меня касандра которая прям и в хвост и в гриву и мног омест с селектами allow filtering чо в корне вредно, жрет 16% памяти, а кх с одной таблицой 30
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
я могу выделить на него свободно 20гб у меня еще есть запас, но просто странно одна таблица и вот такая прожорливость, у меня касандра которая прям и в хвост и в гриву и мног омест с селектами allow filtering чо в корне вредно, жрет 16% памяти, а кх с одной таблицой 30
Кх всегда держит PRIMARY KEY в оперативной памяти + еще марк кеш и по мелочи там
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
Кх всегда держит PRIMARY KEY в оперативной памяти + еще марк кеш и по мелочи там
это очень полезное свойство, благодаря этому он быстр овыбирает данные за неделю в гигабайты записей..  но как-то бы его чутка подужать =)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Попробуй зарезать mark cache и вместо 5гб поставить 1 гб
источник

ML

Mimik Lamerger in ClickHouse не тормозит
SYSTEM DROP MARK CACHE - чтот страшно =)
источник

R

RapidCodeLab in ClickHouse не тормозит
Dmitry Titov
isNotNull(cpm)
И вообще сравнивать Null это неблагодарное дело, он же себе не равен :)
select date, avg(cpm) from mv_stat_by_date  where isNotNull(cpm) group by date  
select date, avgOrDefault(cpm) from mv_stat_by_date group by date
select date, avg(coalesce(cpm, 0)) from mv_stat_by_date group by date

все это не работает( все равно результат null
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
SYSTEM DROP MARK CACHE - чтот страшно =)
покажи ORDER BY таблицы

SELECT table, formatReadableSize(sum(primary_key_bytes_in_memory)), formatReadableSize(sum(primary_key_bytes_in_memory_allocated)) FROM system.parts GROUP BY table ORDER BY sum(primary_key_bytes_in_memory_allocated) DESC;
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
покажи ORDER BY таблицы

SELECT table, formatReadableSize(sum(primary_key_bytes_in_memory)), formatReadableSize(sum(primary_key_bytes_in_memory_allocated)) FROM system.parts GROUP BY table ORDER BY sum(primary_key_bytes_in_memory_allocated) DESC;
подвис =))
источник

ML

Mimik Lamerger in ClickHouse не тормозит
о начал отдавать памят ьпосле вызова дропа
источник

ML

Mimik Lamerger in ClickHouse не тормозит
офигеть отдал всю память
источник

DT

Dmitry Titov in ClickHouse не тормозит
RapidCodeLab
select date, avg(cpm) from mv_stat_by_date  where isNotNull(cpm) group by date  
select date, avgOrDefault(cpm) from mv_stat_by_date group by date
select date, avg(coalesce(cpm, 0)) from mv_stat_by_date group by date

все это не работает( все равно результат null
SELECT avg(val)
FROM
(
   SELECT toNullable(1) AS val
   UNION ALL
   SELECT 2
   UNION ALL
   SELECT NULL
)

┌─avg(val)─┐
│      1.5 │
└──────────┘

Вообще он вроде не учитывает Null значения, так что проблема явно в другом.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
офигеть отдал всю память
ну зарезай mark_cache_size  настройку тогда
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
покажи ORDER BY таблицы

SELECT table, formatReadableSize(sum(primary_key_bytes_in_memory)), formatReadableSize(sum(primary_key_bytes_in_memory_allocated)) FROM system.parts GROUP BY table ORDER BY sum(primary_key_bytes_in_memory_allocated) DESC;
огромное спасибо дроп реально выручил =))
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
ну зарезай mark_cache_size  настройку тогда
да ок, пойду внимательно читать доку
источник

ML

Mimik Lamerger in ClickHouse не тормозит
еще раз снимаю шляпу =)
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
покажи ORDER BY таблицы

SELECT table, formatReadableSize(sum(primary_key_bytes_in_memory)), formatReadableSize(sum(primary_key_bytes_in_memory_allocated)) FROM system.parts GROUP BY table ORDER BY sum(primary_key_bytes_in_memory_allocated) DESC;
этот селект после дропа поздно вызывать?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mimik Lamerger
этот селект после дропа поздно вызывать?
нет, это совершенно разные вещи, PRIMARY KEY и MARK CACHE
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
нет, это совершенно разные вещи, PRIMARY KEY и MARK CACHE
источник