Size: a a a

ClickHouse не тормозит

2020 June 10

DC

Denny Crane (I don't... in ClickHouse не тормозит
vladimir kolobaev
вот тут не понял, Issue что ли завести?
да
источник

РА

Романов Антон... in ClickHouse не тормозит
всем здравствуйте, подскажите, пожалуйста, в КХ реализована возможность работы с динамическими запросами, не увидел нигде в инструкциях?
источник

D

Dj in ClickHouse не тормозит
Добрый день, такой вопрос по ТТЛ и merge_with_timeout_ttl.
ttl_only_drop_parts=1

у нас где-то 40-50 партов в час...  КХ проверяет каждый интервал, но дропает только один парт за одну проверку. Решается более частыми проверками чтобы количество проверок было больше количества партов которые будут дропатся.
Это норма или можно как-то увеличить число партов, что будут дропаться по ТТЛ за одну итерацию проверки? а то приходится чуть ли не в минуту выставлять merge_with_timeout_ttl чтобы он успевал дропать...

логично предположить что он должен дропать все что expired
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
Dmitry Titov
а какой изначально тип то?
числовой?
Нет, стринги, но они очень сильно low cardinality
источник

D

Dj in ClickHouse не тормозит
Svetlana Panfilova
LowCardinality тип насколько продакшн реди? Если я клиенту деньги показываю (приблизительно не подойдёт), я могу на колонке не задумываясь low cardinality написать и спать ночью спокойно?
очень ready. проблем не возникало. Правда надо осторожней смотреть в system.column_parts там размер uncompressed не строковый а уже переведенный в цифры
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
Tim Mustafin
Кликхаус не acid, вы ведь помните? То есть нельзя что-то класть в кликхаус и спать спокойно, если это нельзя потерять
Ну вокруг записи и консистентного чтения у нас велосипеды накручены, они даже работают в проде. Я просто попробовала low cardinality на строковых колонках, перф на чтение улучшился в 3 раза, мне такое очень надо
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
Dj
очень ready. проблем не возникало. Правда надо осторожней смотреть в system.column_parts там размер uncompressed не строковый а уже переведенный в цифры
Круто! Спасибо!
источник

DT

Dmitry Titov in ClickHouse не тормозит
Svetlana Panfilova
Нет, стринги, но они очень сильно low cardinality
а что конкретно вы в них храните то?
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
Там недлинные строки типа «тип энтити»
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
Тип сорс системы и тп
источник

DT

Dmitry Titov in ClickHouse не тормозит
а, тогда норм
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
По ним фильтр в основном и иногда группировка
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
Куль, спасибо, ребята!
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
А для развития - где может быть не норм?
источник

DT

Dmitry Titov in ClickHouse не тормозит
ну допустим числовые типы какие то, (вы там написали про деньги я вот и напрягся)
либо уникальные строки
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
Аа
источник

D

Dj in ClickHouse не тормозит
Svetlana Panfilova
А для развития - где может быть не норм?
ну 100500мильенов строк лучше не хранить... хотя мы не пробовали, у нас есть колонка под 200 тыс, и ниче, работает... думаю оно влияет на память
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
Dj
ну 100500мильенов строк лучше не хранить... хотя мы не пробовали, у нас есть колонка под 200 тыс, и ниче, работает... думаю оно влияет на память
Вы имеете в виду 100500 разных видов строк? То есть не low cardinality?
источник

SP

Svetlana Panfilova in ClickHouse не тормозит
У меня 50 типов энтити на 5 млрд, казалось бы прямой кейс
источник

D

Dj in ClickHouse не тормозит
Svetlana Panfilova
Вы имеете в виду 100500 разных видов строк? То есть не low cardinality?
да, не храните не lowcardinality
источник