Size: a a a

ClickHouse не тормозит

2020 June 15

DT

Dmitry Titov in ClickHouse не тормозит
просто я бы сделал что то такое(на самом деле разжимать обратно не обязательно если можно обойтись без этого)

И я забыл тут еще отсортировать по ts данные. это можно сделать либо в массиве либо с помощью ORDER BY до group Array
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Dmitry Titov
SELECT  owner_id,
       platform_id,
       user_agent,
     a.1 as ts,
   a.2 as operation,
   LEAD,
   MIN
FROM(
        SELECT owner_id,
                     platform_id,
                     user_agent,
                     min(ts) AS MIN
           arraySort((x->x.1),groupArray((ts,operation)) as ts_operations,
           arrayPushBack(arrayPopFront(ts_operations.1),0) as next_ts
              FROM events
              WHERE (operation LIKE 'app_pageview_%')
                AND (date = '2020-06-07')
                AND ((ts >= 1591488000000) AND (ts <= 1591574399000))
              GROUP BY owner_id,
                       platform_id,
                       user_agent
              ORDER BY owner_id ASC,
                       user_agent ASC
)
ARRAY JOIN ts_operations AS a,next_ts AS LEAD
хмм
интересно
спасибо большое!
Сейчас попробуем
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dmitry Titov
SELECT  owner_id,
       platform_id,
       user_agent,
     a.1 as ts,
   a.2 as operation,
   LEAD,
   MIN
FROM(
        SELECT owner_id,
                     platform_id,
                     user_agent,
                     min(ts) AS MIN
           arraySort((x->x.1),groupArray((ts,operation)) as ts_operations,
           arrayPushBack(arrayPopFront(ts_operations.1),0) as next_ts
              FROM events
              WHERE (operation LIKE 'app_pageview_%')
                AND (date = '2020-06-07')
                AND ((ts >= 1591488000000) AND (ts <= 1591574399000))
              GROUP BY owner_id,
                       platform_id,
                       user_agent
              ORDER BY owner_id ASC,
                       user_agent ASC
)
ARRAY JOIN ts_operations AS a,next_ts AS LEAD
добавил сортировку
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Dmitry Titov
добавил сортировку
на первый взгляд всё отлично вообще
спасибо большое ☺️
источник

~~

~ syrext ~ in ClickHouse не тормозит
Добрый день! Есть ли способ настройки максимального размера файла (куска) на диске?
источник

p

pv in ClickHouse не тормозит
Всем добрый день. Скажите пожалуйста в CH есть что-то встроенное на тему moving average?
источник

LS

Lilo Stich in ClickHouse не тормозит
Вопрос связан с CH. Вдруг кто знает.

Grafana Vertamedia plugin для CH оказывается не поддерживает Alerts. Так как вся логика на фронте идет, а алерты в бэкенде графаны.

Есть какие-то другие решения по алертингу?
источник

D

Dj in ClickHouse не тормозит
~ syrext ~
Добрый день! Есть ли способ настройки максимального размера файла (куска) на диске?
насколько я знаю конкретного параметра нет, но есть захардкоженный лимит, то ли гиг на колонку, то ли что-то в этом роде (но replacing/collapsing будут мерджится до победного)

см. https://t.me/clickhouse_ru/166598
источник

P

Pavel Kozhuhar in ClickHouse не тормозит
Всем привет, есть вопрос по поводу optimize final. Где-то ччитал о том, что при оптимаййзе кликхаус полностью перезаписывает таблицу. так вот. когда он перезаписывает — он это делает типо в новой таблице? т.е. будет ли увеличиватся используемое место на диске во время оптимайза?
источник

D

Dj in ClickHouse не тормозит
Pavel Kozhuhar
Всем привет, есть вопрос по поводу optimize final. Где-то ччитал о том, что при оптимаййзе кликхаус полностью перезаписывает таблицу. так вот. когда он перезаписывает — он это делает типо в новой таблице? т.е. будет ли увеличиватся используемое место на диске во время оптимайза?
да.
у вас есть парт1 и парт2
после оптимайз получится парт3, а два старых останутся лежать а потом удалятся после таймаута.
источник

P

Pavel Kozhuhar in ClickHouse не тормозит
Dj
да.
у вас есть парт1 и парт2
после оптимайз получится парт3, а два старых останутся лежать а потом удалятся после таймаута.
а что произойдет если для парта3 не хватит места на диске?
источник

DT

Dmitry Titov in ClickHouse не тормозит
pv
Всем добрый день. Скажите пожалуйста в CH есть что-то встроенное на тему moving average?
источник

D

Dj in ClickHouse не тормозит
Pavel Kozhuhar
а что произойдет если для парта3 не хватит места на диске?
не кололся, но наверно мердж завалится и все
источник

p

pv in ClickHouse не тормозит
Спасибо огромное. Почему-то я сам не нашёл.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Pavel Kozhuhar
а что произойдет если для парта3 не хватит места на диске?
перед мержем кликхаус резервирует место, но шансы всеравно могут быть
источник

P

Pavel Kozhuhar in ClickHouse не тормозит
Dmitry Titov
перед мержем кликхаус резервирует место, но шансы всеравно могут быть
я так понимаю что если во время резервации ему уже места не хватит — он что-то скажет об этом?
источник

D

Dj in ClickHouse не тормозит
Pavel Kozhuhar
я так понимаю что если во время резервации ему уже места не хватит — он что-то скажет об этом?
да, мердж даже не начнется
источник

P

Pavel Kozhuhar in ClickHouse не тормозит
отлично, спасибо большое, вечером будем пробовать
источник

DT

Dmitry Titov in ClickHouse не тормозит
Pavel Kozhuhar
я так понимаю что если во время резервации ему уже места не хватит — он что-то скажет об этом?
в логах должен написать, он там обо всем пишет
источник

DT

Dmitry Titov in ClickHouse не тормозит
~ syrext ~
Добрый день! Есть ли способ настройки максимального размера файла (куска) на диске?
кликхаус мержит парты вплоть до определенного размера(100гб) так что нужно покопаться, какая то настроечка должна быть
источник