Телеграмм чат группы clickhouse_ru страница 9074

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4692 membersпожаловаться на группу

2021 January 14

SB

Sergey Bubnov in ClickHouse не тормозит

Добрый день. А подскажите, на что надо ориентироваться при принятии решения, какой ключ партиционирования нужно указывать при создании таблицы

engine = MergeTree PARTITION BY date -- вот тут дата у меня по дням, но например result_type уникальных данных куда меньше. или например q_id уникальный данных тоже меньше чем уникальных date, однако result_type еще меньше.
        ORDER BY (date, result_type, q_id, f_id, r_id)

По документации пока трудновато понять, что именно надо использовать. Может как-то тут все проще можно объяснить?

источник

13:57пожаловаться #1

В

Влад in ClickHouse не тормозит

Так у вас не эвенты, а состояния
Мб сделать словарь или вообще делать не на ch, а на oltp?
UPD я имею в виду, что вы хотите состояние, но не передаете его в следующих сообщениях в Kafka

вот чтобы не делать предпроцессор, который заполняет предыдущие состояния, предположил, что можно сделать средствами ch

источник

14:00пожаловаться #2

OG

Oleg Gavrilov in ClickHouse не тормозит

Влад

вот чтобы не делать предпроцессор, который заполняет предыдущие состояния, предположил, что можно сделать средствами ch

Ksql может поможет?

источник

14:04пожаловаться #3

OG

Oleg Gavrilov in ClickHouse не тормозит

Раз уже кафка есть

источник

14:04пожаловаться #4

СК

Саша Козлов... in ClickHouse не тормозит

подскажите правильный путь решения
есть исходный постгрес , из которого нужно брать данные для агрегатов и справочники

как правильнее/производительнее/надежней ?

работать с ПГ к которому присоединены таблицы КХ
или
работать с КХ к которому присоединены таблицы ПГ
и каким образом?

из того что нашел это
clickhousedb_fdw и clickhouse-jdbc-bridge

но что-то оба варианта не впечатлили

источник

14:28пожаловаться #5

AM

Ada Min in ClickHouse не тормозит

Коллеги, подскажите, в чем разница при подсчтете уников в MV через

... uniqIfState
... uniqStateIf
какой из вариантов оптимальнее?

источник

14:38пожаловаться #6

DT

Dmitry Titov in ClickHouse не тормозит

Коллеги, подскажите, в чем разница при подсчтете уников в MV через

... uniqIfState
... uniqStateIf
какой из вариантов оптимальнее?

uniqStateIf
Этот, сначала отфильтровываем и только потом считаем стейт

источник

14:41пожаловаться #7

D

Dj in ClickHouse не тормозит

Добрый день. А подскажите, на что надо ориентироваться при принятии решения, какой ключ партиционирования нужно указывать при создании таблицы

engine = MergeTree PARTITION BY date -- вот тут дата у меня по дням, но например result_type уникальных данных куда меньше. или например q_id уникальный данных тоже меньше чем уникальных date, однако result_type еще меньше.
        ORDER BY (date, result_type, q_id, f_id, r_id)

По документации пока трудновато понять, что именно надо использовать. Может как-то тут все проще можно объяснить?

если вам нужно будет удалять данные со временем по признаку времени, лучше partition by date.
если иначе - много всяких если, нужно больше информации

источник

14:55пожаловаться #8

SB

Sergey Bubnov in ClickHouse не тормозит

если вам нужно будет удалять данные со временем по признаку времени, лучше partition by date.
если иначе - много всяких если, нужно больше информации

Ну скажем так, основная задача этой таблицы, делать запросы в которых всегда будет такой селект Select ..., uniq(result_type), group by q_id
И данных может быть ну например 1ккк+

источник

14:58пожаловаться #9

D

Dj in ClickHouse не тормозит

Ну скажем так, основная задача этой таблицы, делать запросы в которых всегда будет такой селект Select ..., uniq(result_type), group by q_id
И данных может быть ну например 1ккк+

вообще не делайте партиции тогда

источник

15:04пожаловаться #10

SB

Sergey Bubnov in ClickHouse не тормозит

вообще не делайте партиции тогда

А ORDER BY - это же посути индекс и его то уж точно надо и поидее в определенном порядке?

источник

15:07пожаловаться #11

D

Dj in ClickHouse не тормозит

А ORDER BY - это же посути индекс и его то уж точно надо и поидее в определенном порядке?

да, в зависимости от запросов и данных (может хорошо влиять на сжатие)

если только груп бай без where - то он тоже не особо нужен, можно только сжатие улучшить используя хороший order by

источник

15:17пожаловаться #12

SB

Sergey Bubnov in ClickHouse не тормозит

да, в зависимости от запросов и данных (может хорошо влиять на сжатие)

если только груп бай без where - то он тоже не особо нужен, можно только сжатие улучшить используя хороший order by

Правильно ли я понимаю, что как раз эта таблица показывает как работает OrDER BY?

источник

15:22пожаловаться #13

D

Dj in ClickHouse не тормозит

Правильно ли я понимаю, что как раз эта таблица показывает как работает OrDER BY?

да

источник

15:24пожаловаться #14

SB

Sergey Bubnov in ClickHouse не тормозит

да

Спасибо, а нет ли способов понять, правильно ли я построил индекс для запроса? типа как в постгре explain какой-то сделать

источник

15:34пожаловаться #15

IL

Igor Levdansky in ClickHouse не тормозит

А никто не сталкивался со случаем работы с jdbc, что значения Tuple-а возвращается как строка?

источник

16:52пожаловаться #16

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Подскажите, это баг или фича:
Создаем таблицу Т SummingMergeTree, к ней MATERIALIZED VIEW с селектом из таблицы А.
Создаем таблицу Т2 SummingMergeTree с такимже МВ и селектом из А.

При обращении к таблицам Т и Т2 получаем разные результаты при использовании выборок.
Единственное отличие Т от Т2 — при создании Т в ORDER BY были перечислены все столбцы. В Т2 только основные.

есть в OLAP понятия размерности(дименшины) и метрики, грубо говоря:

select sum() - метрика
count() - метрика
country - размерность
city - размерность
group by country, city

так вот, все что перечислено в summingMT в order by -- это размерности
все что не перечислено -- это метрики

если у метрики числовой тип, то summingMT их скалдывает
если у метрики нечисловой тип, то summingMT берет любое значение ANY()

источник

16:53пожаловаться #17

DC

Denny Crane [not a Y... in ClickHouse не тормозит

А где задаются значения по умолчанию на всю базу?

в профиле default

источник

16:54пожаловаться #18

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Влад

https://gist.github.com/den-crane/d03524eadbbce0bafa528101afa8f794

источник

16:55пожаловаться #19

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Добрый день. А подскажите, на что надо ориентироваться при принятии решения, какой ключ партиционирования нужно указывать при создании таблицы

engine = MergeTree PARTITION BY date -- вот тут дата у меня по дням, но например result_type уникальных данных куда меньше. или например q_id уникальный данных тоже меньше чем уникальных date, однако result_type еще меньше.
        ORDER BY (date, result_type, q_id, f_id, r_id)

По документации пока трудновато понять, что именно надо использовать. Может как-то тут все проще можно объяснить?

если вы не знаете какой как партиционировать таблицу, партиционируйте по месяцам. toYYYYMM

источник

16:56пожаловаться #20