Size: a a a

ClickHouse не тормозит

2020 August 27

AK

Andrii Kakoichenko in ClickHouse не тормозит
Хотя, все равно, время в 100 раз больше и поднятых строк в 50 раз больше, чем когда одну секунду через where отсекаю
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
кстати

CREATE TABLE default.CfLog (
Timestamp DateTime64(3),
RayIdInt Int64,

ORDER BY  (Timestamp, RayIdInt)

это очень странный ORDER BY т.е. там RayIdInt наверное смысла уже нет после DateTime64
Согласен, спасибо. Изначально решил, что тут надо уникальности добиваться, и сделал лишнего
источник

S

Slach in ClickHouse не тормозит
Yuriy Dyachuk
Всем привет, подскажите пожалуйста инструмент для аналитики запросов к кликхаус.
Сейчас использую https://grafana.com/grafana/dashboards/2515 но этот дашборд не очень удобный. может есть какие то альтернативы?
а чем конкретно этот дашборд неудобен?

альтернатив нет в лучшем случае есть точно такой же dashboard но для kubernetes clickhouse-operator
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrii Kakoichenko
Хотя, все равно, время в 100 раз больше и поднятых строк в 50 раз больше, чем когда одну секунду через where отсекаю
ну так напишите order by Timestamp desc, RayIdInt desc
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну так напишите order by Timestamp desc, RayIdInt desc
Не помогло. Время и кол-во поднятых данных не изменилось
источник

D

Dj in ClickHouse не тормозит
Andrii Kakoichenko
Хотя, все равно, время в 100 раз больше и поднятых строк в 50 раз больше, чем когда одну секунду через where отсекаю
ничего не понял, но по идее order by pk desc/asc должен быть моментальным.


>Но тут хочу понять, можно ли на КХ в дополнение повесить OLTP нагрузку по подобным запросам, которые ложатся на primary key.

нельзя если QPS > 100. в КХ оверхед высокий. Лучше батчить запросы.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrii Kakoichenko
Не помогло. Время и кол-во поднятых данных не изменилось
сколько строк processed?
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
2.5 млн
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
processed ? max_block_size не применился
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
processed ? max_block_size не применился
аа partition pruning может быть, партиции все сканируются
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
processed ? max_block_size не применился
Как понять, применился, или нет?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrii Kakoichenko
Как понять, применился, или нет?
да возьмите нормальный клиент, курл что-ли например
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
аа partition pruning может быть, партиции все сканируются
да, так и есть. у нас так же было на таблице с много партиций. select в принципе не работает без прунинга на таких... улетает по 300-400 сек
источник

D

Dj in ClickHouse не тормозит
Andrii Kakoichenko
Как понять, применился, или нет?
select Timestamp 
from CfLog c
where Timestamp >= '2020-07-11 10:00:00' and Timestamp < '2020-07-12 10:00:00'
order by Timestamp desc
limit 1


так делайте например
источник

D

Dj in ClickHouse не тормозит
если есть гарантия что в течении дня будет хоть одна строка
источник

D

Dj in ClickHouse не тормозит
чем меньше окно тем лучше
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Dj
да, так и есть. у нас так же было на таблице с много партиций. select в принципе не работает без прунинга на таких... улетает по 300-400 сек
Походу, бинго. Указал where Timestamp > время начала партиции, и летает
источник

D

Dj in ClickHouse не тормозит
Andrii Kakoichenko
Походу, бинго. Указал where Timestamp > время начала партиции, и летает
оставьте окно, условно в час... и запрашивайте... чтобы в худшем случае ходить в 2 партиции на пересечении дней
источник

M

Maxim in ClickHouse не тормозит
Привет всем. Не подскажете ли, какими размерами КХ отдаёт блоки материализованному представлению для записи? Хотелось бы во вьюхе использовать группировку, и подумал о том влезет ли инсерт в лимиты по памяти на запрос (которые 10GB по дефолту)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Maxim
Привет всем. Не подскажете ли, какими размерами КХ отдаёт блоки материализованному представлению для записи? Хотелось бы во вьюхе использовать группировку, и подумал о том влезет ли инсерт в лимиты по памяти на запрос (которые 10GB по дефолту)
ну раньше было теже блоки  как вставка в основную, т.е. если max_insert_block_size=1mil то 1mil

теперь
 --min_insert_block_size_rows_for_materialized_views arg          Like min_insert_block_size_rows, but applied only during pushing to MATERIALIZED VIEW (default: min_insert_block_size_rows)
 --min_insert_block_size_bytes_for_materialized_views arg         Like min_insert_block_size_bytes, but applied only during pushing to MATERIALIZED VIEW (default: min_insert_block_size_bytes)

а хотя max_insert_block_size такой же и остался
источник