Size: a a a

ClickHouse не тормозит

2020 September 23

D

Dj in ClickHouse не тормозит
sdlm
ок, спасибо большое за помошь, попробую магию массивов, если будут проблемы то вернусь с деталями )
можно блоками кусками делать с груп бай
источник

s

sdlm in ClickHouse не тормозит
да да, там будет с группировкой
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
sdlm
да да, там будет с группировкой
ну так массивы будут не очень длинные тогда, внутри групп
источник

s

sdlm in ClickHouse не тормозит
оке, понял, спасибо!
источник

X

Xor in ClickHouse не тормозит
есть движок базы MySQL, а нет ли часом под PGSQL?
источник

DG

David Gobronidze in ClickHouse не тормозит
Xor
есть движок базы MySQL, а нет ли часом под PGSQL?
источник

X

Xor in ClickHouse не тормозит
спасибо :)
источник

A

Alexander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
в общем случае? никакого.
Обычно в частных случаях, есть 5 - 6 вариантов.
Неужели нету функции типа delta? Если нет - надо запилить по аналогии с moving sum и окном = 2
источник

pk

papa karlo in ClickHouse не тормозит
если б это было так просто.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexander
Неужели нету функции типа delta? Если нет - надо запилить по аналогии с moving sum и окном = 2
много что есть, neigbor / runningDifference
только они работают в рамках блока, который может быть любого размера
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и они не аггрегирующие
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexander
Неужели нету функции типа delta? Если нет - надо запилить по аналогии с moving sum и окном = 2
вы бы лучше moving sum сделали для массивов еще
источник

D

Dj in ClickHouse не тормозит
в  20.3.11.97 никто не наблюдал тормоза после сваливания в группировку на диске?
у нас почему оно жрет ЦПУ и ооочень медленно/мало пишет на диск... т.е. движения в тмп происходят. но очень мало

у каждого потока последние сообщения эти, потом тишина:
{fcc6f0d0-5a0f-4d59-9ea0-a75a5aafed1f} <Debug> Aggregator: Writing part of aggregation data into temporary file /datadisk/tmp/tmp187460tyaaaa
источник

D

Dj in ClickHouse не тормозит
Dj
в  20.3.11.97 никто не наблюдал тормоза после сваливания в группировку на диске?
у нас почему оно жрет ЦПУ и ооочень медленно/мало пишет на диск... т.е. движения в тмп происходят. но очень мало

у каждого потока последние сообщения эти, потом тишина:
{fcc6f0d0-5a0f-4d59-9ea0-a75a5aafed1f} <Debug> Aggregator: Writing part of aggregation data into temporary file /datadisk/tmp/tmp187460tyaaaa
при этом на маленьких объемах max_bytes_before_external_group_by='5G') - все ок...
на трешолдах типа 80G умирает
источник

EA

Evgeniy Abramov in ClickHouse не тормозит
Всем привет, может кто подсказать, может ли один ZK менеджить два кластера ClickHouse? И будет ли это безболезненно, если они будут на тех же серверах, что и CH? Здесь не советуют так делать, https://clickhouse.tech/docs/ru/operations/tips/#zookeeper  но все же?
источник

D

Dj in ClickHouse не тормозит
Dj
в  20.3.11.97 никто не наблюдал тормоза после сваливания в группировку на диске?
у нас почему оно жрет ЦПУ и ооочень медленно/мало пишет на диск... т.е. движения в тмп происходят. но очень мало

у каждого потока последние сообщения эти, потом тишина:
{fcc6f0d0-5a0f-4d59-9ea0-a75a5aafed1f} <Debug> Aggregator: Writing part of aggregation data into temporary file /datadisk/tmp/tmp187460tyaaaa
все нормально, медианов было много, после смены на quantileTDigest все полетело как надо
источник

D

Dj in ClickHouse не тормозит
Evgeniy Abramov
Всем привет, может кто подсказать, может ли один ZK менеджить два кластера ClickHouse? И будет ли это безболезненно, если они будут на тех же серверах, что и CH? Здесь не советуют так делать, https://clickhouse.tech/docs/ru/operations/tips/#zookeeper  но все же?
1. да. нужно с путями аккуратно
2. нет. будут вставки тормозить + КХ сожрет весь процессор. (как ридонли КХ с ручными вставками наверно можно)
источник
2020 September 24

М

Максим in ClickHouse не тормозит
Добрый вечер. Подскажите, пожалуйста использование OPTIMIZE TABLE для принудительного "схлопывания" записей в таблицах ReplacingMT является "штатной" операцией или же это с точки зрения Clickhouse операция обслуживания и использовать её в продакашене для принудительного схлопывания не есть хорошо.
источник

М

Максим in ClickHouse не тормозит
* регулярно использовать. т.е загрузил файл , запустил схлопывание по партициям
источник

М

Максим in ClickHouse не тормозит
Возникает просто мысль об аналогии с MySQL OPTIMIZE TABLE  или VACUUM в PLSQL
источник