Телеграмм чат группы clickhouse_ru страница 7587

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4007 membersпожаловаться на группу

2020 June 17

D

Dj in ClickHouse не тормозит

да, в КХ индексом сложно вызвать торможение (так как индекс спарс и по сути это скиппер).
это скорее баги отлавливать. сейчас люди пользуются костылем под названием identity()

ну хотя я уже сумел заставить КХ тормозить навешав скип индексы ( он жутко тормозит перед тем как он начинает сканировать сами парты)...

источник

01:19пожаловаться #1

D

Dj in ClickHouse не тормозит

ну и есть много случаев когда сканировать индекс не надо, и вы об этом знаете заранее..., в этом случае захинтить ФУЛЛ святое дело, и никакое обновление оптимизатора вам никогда ничего не сломает

источник

01:21пожаловаться #2

l

lnuynxa in ClickHouse не тормозит

ну и есть много случаев когда сканировать индекс не надо, и вы об этом знаете заранее..., в этом случае захинтить ФУЛЛ святое дело, и никакое обновление оптимизатора вам никогда ничего не сломает

так это identity?)

источник

01:22пожаловаться #3

D

Dj in ClickHouse не тормозит

ну, identity - невидимая функция, по сути конкретный хинт

источник

01:23пожаловаться #4

l

lnuynxa in ClickHouse не тормозит

ну, identity - невидимая функция, по сути конкретный хинт

ну, я к тому что конкретно это поведение можно уже сделать, да

источник

01:32пожаловаться #5

D

Dj in ClickHouse не тормозит

вот еще для холиваров
https://github.com/ClickHouse/ClickHouse/issues/11722 =)

Improve performance of FINAL modifier for Collapsing/Replacing MergeTree · Issue #11722 · ClickHouse/ClickHouse

Use case Clickhouse is a very good DB for load-and-analyze type of pattern, but its lack of primary key enforcement constraints limits it for typical monitoring case, when there is a need to query ...

источник

03:49пожаловаться #6

D

Dj in ClickHouse не тормозит

ну, я к тому что конкретно это поведение можно уже сделать, да

специально для вас вот https://github.com/ClickHouse/ClickHouse/issues/11721
а то там уже minMap/maxMap есть хардкоднутый =)

Add custom "-Map" aggregate function combinator · Issue #11721 · ClickHouse/ClickHouse

Use case Currently, there are sumMap/minMap/maxMap aggregate function combinator that allows calculating aggregated values in bins. It's quite a frequent use case considering lack of window...

источник

03:50пожаловаться #7

l

lnuynxa in ClickHouse не тормозит

специально для вас вот https://github.com/ClickHouse/ClickHouse/issues/11721
а то там уже minMap/maxMap есть хардкоднутый =)

Add custom "-Map" aggregate function combinator · Issue #11721 · ClickHouse/ClickHouse

Use case Currently, there are sumMap/minMap/maxMap aggregate function combinator that allows calculating aggregated values in bins. It's quite a frequent use case considering lack of window...

ага, я когда этот minMaxMap увидел, стало грустно немного, что вместо общего решения пилятся частные

источник

03:51пожаловаться #8

D

Dj in ClickHouse не тормозит

ага, я когда этот minMaxMap увидел, стало грустно немного, что вместо общего решения пилятся частные

да, я только из-за этого не поленился...
в общем голосуем, лайкаем, форсим, вносим поправки =)

источник

03:53пожаловаться #9

l

lnuynxa in ClickHouse не тормозит

вот еще для холиваров
https://github.com/ClickHouse/ClickHouse/issues/11722 =)

Improve performance of FINAL modifier for Collapsing/Replacing MergeTree · Issue #11722 · ClickHouse/ClickHouse

Use case Clickhouse is a very good DB for load-and-analyze type of pattern, but its lack of primary key enforcement constraints limits it for typical monitoring case, when there is a need to query ...

Allow to specify parameter to not-do merge across partitions (merge-tree setting or system setting). This will let CH to assume that each partition already owns unique set of PKs.
речь идет о том, когда партицирование не идет по дате?

речь идет о том мерже что OPTIMIZE и background pool?

источник

03:59пожаловаться #10

D

Dj in ClickHouse не тормозит

Allow to specify parameter to not-do merge across partitions (merge-tree setting or system setting). This will let CH to assume that each partition already owns unique set of PKs.
речь идет о том, когда партицирование не идет по дате?

речь идет о том мерже что OPTIMIZE и background pool?

нет, в целом... сейчас КХ когда делает SELECT ... FINAL, объединяет меж партициями тоже. Во многих кейсах (особенно в тех случаях кому надо делать такое), уникальность ключа между партициями гарантирована.

улучшить ФИНАЛ без этого assumption, не совсем возможно

источник

04:01пожаловаться #11

l

lnuynxa in ClickHouse не тормозит

Просто недавно впиливали вроде что то на ускорение FINAL

источник

04:01пожаловаться #12

D

Dj in ClickHouse не тормозит

Просто недавно впиливали вроде что то на ускорение FINAL

я только parallel final видел, это по сути нагревание процессоров в большом проценте случаев

источник

04:01пожаловаться #13

D

Dj in ClickHouse не тормозит

Allow to specify parameter to not-do merge across partitions (merge-tree setting or system setting). This will let CH to assume that each partition already owns unique set of PKs.
речь идет о том, когда партицирование не идет по дате?

речь идет о том мерже что OPTIMIZE и background pool?

>речь идет о том мерже что OPTIMIZE и background pool?
ну SELECT ... FINAL делает тот же самый мердж в памяти, просто не пишет на диск потом

источник

04:02пожаловаться #14

D

Dj in ClickHouse не тормозит

т.е. у нас проблема, допустим 60 дней, дневные партиции, по 100ГБ в день. последний день льется, остальные уже залились и схлопнулись. Если пустить запрос - он будет читать все 60 дней, и пытаться их схлопывать.
Суть тикета: не схлопывать старые партиции если пользователь говорит что между партициями дупликатов быть не может.

источник

04:04пожаловаться #15

l

lnuynxa in ClickHouse не тормозит

я только parallel final видел, это по сути нагревание процессоров в большом проценте случаев

Да, видимо только параллельный FINAL

Вообще я думал о том, что если есть какое то условие в WHERE, что бы FINAL применялся только к отфильтрованным гранулам по ключу

источник

04:07пожаловаться #16

D

Dj in ClickHouse не тормозит

Да, видимо только параллельный FINAL

Вообще я думал о том, что если есть какое то условие в WHERE, что бы FINAL применялся только к отфильтрованным гранулам по ключу

ну, да... применяется

источник

04:07пожаловаться #17

D

Dj in ClickHouse не тормозит

но если мне надо максимум за 60 дней взять по одной колонке, оно медленнее раз в 10 сейчас

источник

04:08пожаловаться #18

l

lnuynxa in ClickHouse не тормозит

но если мне надо максимум за 60 дней взять по одной колонке, оно медленнее раз в 10 сейчас

LIMIT 1 BY key тоже тупит?

источник

04:08пожаловаться #19

D

Dj in ClickHouse не тормозит

argMax тупит меньше всех, но я так понял FINAL под капотом делает что-то похожее

источник

04:09пожаловаться #20