Size: a a a

ClickHouse не тормозит

2020 July 21

D

Dmitry Koreckiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
можно, но зачем? для чего?
1 КХ не умеет min и max брать из индексов
2 вы не сможете использовать это в where
3 что у вас за AggregateFunction ?
ну по второму пункту уже не проходит)
снимаю свой вопрос))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yura @LiubPoetry Liubchenko
А как сравнить 2 поля можно, что одно из них сабстринг второго?
Думал что lower(a_field) LIKE concat('%', b_field, ‘%’) сработает, но второе значение должно быть константой
startWith
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Koreckiy
ну по второму пункту уже не проходит)
снимаю свой вопрос))
что у вас за AggregateFunction ? просто большинство не в курсе про SimpleAggregateFunction
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
необходимо высчитать разницу между двумя числами в динамике
и потом полученное значение должно участвовать в поиске
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
@den_crane а есть примеры работы с SimpleAggregateFunction?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Koreckiy
@den_crane а есть примеры работы с SimpleAggregateFunction?
SimpleAggregateFunction это sum min max..., все что не требует стейт

https://gist.github.com/den-crane/9b5f871e7949fec54e86837eb0949747#file-gistfile1-txt-L75
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Спасибо
источник

M

Maxim in ClickHouse не тормозит
Ребята, а MODIFY COLUMN с применением кодека должен что-то менять в момент исполнения запроса - или это какая-то сильно отложенная операция? Применил к таблице заменив несколько десятков колонок с Int32 на Int32 CODEC(T64, ZSTD), так вот, если смотреть в system.mutations - там пусто, в system.columns размер такой же остался у них. Когда ожидать пересохранение на диске с новы компрессором (или же нужно OPTIMIZE TABLE какой-нибудь применять, чего не хотелось бы всякий раз делать конечно)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim
Ребята, а MODIFY COLUMN с применением кодека должен что-то менять в момент исполнения запроса - или это какая-то сильно отложенная операция? Применил к таблице заменив несколько десятков колонок с Int32 на Int32 CODEC(T64, ZSTD), так вот, если смотреть в system.mutations - там пусто, в system.columns размер такой же остался у них. Когда ожидать пересохранение на диске с новы компрессором (или же нужно OPTIMIZE TABLE какой-нибудь применять, чего не хотелось бы всякий раз делать конечно)
кодек будет использован только для новых партов.
можно сделать alter table xxx update col=col where 1 или optimize
источник

M

Maxim in ClickHouse не тормозит
Оу май
источник

M

Maxim in ClickHouse не тормозит
OPTIMIZE поможет значит?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim
Оу май
а потому что зачем вам кодек для старых партов, никому это не надо
источник

M

Maxim in ClickHouse не тормозит
ну, в рамках тестирования пытаюсь найти оптимальную комбинацию кодеков в рамках одной таблицы. Там лежит уже куча данных для того чтобы бенчмарки прогнать, так хотелось через MODIFY
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim
ну, в рамках тестирования пытаюсь найти оптимальную комбинацию кодеков в рамках одной таблицы. Там лежит уже куча данных для того чтобы бенчмарки прогнать, так хотелось через MODIFY
insert в тестовую табличку 100млн. записей
источник

M

Maxim in ClickHouse не тормозит
у меня небольшой кусочек прода в 6 млрд агрегированных записей, переливка занимает время
источник

M

Maxim in ClickHouse не тормозит
если OPTIMIZE поможет то подожду лучше его, наверное. Спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
ну да давайте поубиваем диски, погреем планету, никого не жалко
источник

M

Maxim in ClickHouse не тормозит
Просто это SummingMergeTree и если создавать рядом табличку, то опять же ждать когда КХ смержит примерно хотя бы количество записей после вставки, чтобы бенчмарки сравнивать как-то релевантно с исходной таблицей без кодеков
источник

M

Maxim in ClickHouse не тормозит
Убивать диски не хочется
источник

M

Maxim in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
кодек будет использован только для новых партов.
можно сделать alter table xxx update col=col where 1 или optimize
UPDATE тут действительно сильно лучше подходит чем OPTIMIZE, благодарю 😬
источник