Size: a a a

ClickHouse не тормозит

2020 August 25

IK

Ilona Knizhnikova in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
>>Для партиционированных таблиц как раз replace partition, да.
>> Для непартиционированных двойной rename через дополнительную tmp таблицу.

почему ?  что такое непартиционированные таблицы? таких не бывает. У них партиция одна и называется tuple()
М, а в чем профит replace'а такой одной монстропартиции относительно rename'а? (Не претензия, если что, хочу понять, стоит ли переходить на это)
Rename выбрали потому что его  как минимум можно безопасно ретраить (там в одном запросе) и не бояться кривых свапов после этого
источник

EM

Evgeny Makarov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну aa это имя таблицы

SOURCE(CLICKHOUSE(HOST 'localhost' PORT 9000 TABLE aaaa DB 'default' USER 'default'))
а, спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ilona Knizhnikova
М, а в чем профит replace'а такой одной монстропартиции относительно rename'а? (Не претензия, если что, хочу понять, стоит ли переходить на это)
Rename выбрали потому что его  как минимум можно безопасно ретраить (там в одном запросе) и не бояться кривых свапов после этого
rename клиенту показывает table does not exists
источник

IK

Ilona Knizhnikova in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
rename клиенту показывает table does not exists
Извини, не очень поняла. В какой момент и в ответ на что показывает?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ilona Knizhnikova
А absolute_delay показывает только релевантное отставание (идет репликация, ждет выполнения ON CLUSTER и всякое такое) или там еще что-то внутреннее может быть, что не нужно ждать?
В плане, могу ли я ориентировать на супер-низкий absolute_delay для таблицы или я никогда не дождусь момента для записи при таком подходе?
кмк absolute_delay показывает именно то что вам нужно
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ilona Knizhnikova
Извини, не очень поняла. В какой момент и в ответ на что показывает?
ну rename неатомарный и непрозрачный для пациентов
источник

IK

Ilona Knizhnikova in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
кмк absolute_delay показывает именно то что вам нужно
Если что - не может же быть ситуации, когда реплика еще не знает, что она отстает, верно? Сверяется с зукипером прямо в ходе запроса? И вот на это можно будет положиться:
SELECT count(*) FROM system.replicas where absolute_delay = 0 and table = :table and replica_name = hostName()
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ilona Knizhnikova
Если что - не может же быть ситуации, когда реплика еще не знает, что она отстает, верно? Сверяется с зукипером прямо в ходе запроса? И вот на это можно будет положиться:
SELECT count(*) FROM system.replicas where absolute_delay = 0 and table = :table and replica_name = hostName()
да, вроде из zk
еще есть asynchronous_metrics  ReplicasMaxAbsoluteDelay / ReplicasMaxRelativeDelay  ReplicasSumQueueSize
там раз в 5 сек. кажется обновляется
источник

IK

Ilona Knizhnikova in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
да, вроде из zk
еще есть asynchronous_metrics  ReplicasMaxAbsoluteDelay / ReplicasMaxRelativeDelay  ReplicasSumQueueSize
там раз в 5 сек. кажется обновляется
Спасибо большое!
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
Не совсем - тут, кажется, вообще не ограничена память. Хотелось бы что-то вроде reservoir sampling как в quantile, только что кол-во резервуаров задать можно было
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Anton Zhuravsky
Не совсем - тут, кажется, вообще не ограничена память. Хотелось бы что-то вроде reservoir sampling как в quantile, только что кол-во резервуаров задать можно было
https://clickhouse.tech/docs/en/sql-reference/aggregate-functions/reference/quantiledeterministic/ ?

with a reservoir size up to 8192 and deterministic algorithm of sampling
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
Вот тут опять же, максимум 8192 резервуара, что есть 32кб состояния. Если бы можно было сделать - было бы огонь, но беглый просмотр доки ничего похожего не показал :(
источник
2020 August 26

IV

Ilya Vishnevsky in ClickHouse не тормозит
Всем привет! Такой вопрос:
Как работают с мат вьюхами на шардированном кластере?
Должна ли вьюха читать из дист таблицы и писать в дист таблицу?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ilya Vishnevsky
Всем привет! Такой вопрос:
Как работают с мат вьюхами на шардированном кластере?
Должна ли вьюха читать из дист таблицы и писать в дист таблицу?
может но не должна. Чаще всего MV делают на mergeTree таблицы. Т.е. на всех нодах КХ создаете MV шардированную /  реплицированную аналогично исходной MT (но это необязательно) и накрываете  все шарды MV distributed таблицей.

MV хранит свои данные в обычной MT таблице, это тупо триггер который ловит данные которые приходят от команды инсерт. Выполняет над буфером от инсерта тот select и результат кладет в обычную таблицу.
источник

A(

Andrew (backEnd) in ClickHouse не тормозит
Можно ли в КХ посчитать среднюю разницу между двумя дататайм?
источник

S

Slawka in ClickHouse не тормозит
Подскажите аналог range в Prometeus, может кто сталкивался
источник

АЕ

Александр Есин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
может но не должна. Чаще всего MV делают на mergeTree таблицы. Т.е. на всех нодах КХ создаете MV шардированную /  реплицированную аналогично исходной MT (но это необязательно) и накрываете  все шарды MV distributed таблицей.

MV хранит свои данные в обычной MT таблице, это тупо триггер который ловит данные которые приходят от команды инсерт. Выполняет над буфером от инсерта тот select и результат кладет в обычную таблицу.
вопрос по этой же теме: а срабатывает ли триггер мат. вью на событие реплицирования? Т.е. если у меня есть Replicated таблица, я делаю инсерт на одном узле, данные реплицируются на другой узел, в этот момент на другом узле выполнится действие определенное в мат. вью?
источник

S

Slawka in ClickHouse не тормозит
Andrew (backEnd)
Можно ли в КХ посчитать среднюю разницу между двумя дататайм?
Среднюю между двумя,?
Можно пример
источник

❌ Constantine ❌ in ClickHouse не тормозит
Вопрос по авто загрузке/обновления конфига: как понять что параметр используется и не нужно пепезапускать сервер?
источник

AB

Andrey Bobelev in ClickHouse не тормозит
select * from system.settings where name like ‘setting_name’
источник