Телеграмм чат группы clickhouse_ru страница 7335

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3913 membersпожаловаться на группу

2020 May 20

DT

Dmitry Titov in ClickHouse не тормозит

Так ведь она есть в начале при определении ключа партиционирования, или это не считается и нужно указать её дополнительно в виде
AggregatingMergeTree(date, (date, appId, event, priceId), 8192)

да, но там указывается партицирование
date-column — имя столбца с типом Date. На основе этого столбца ClickHouse автоматически создаёт партиции по месяцам. Имена партиций имеют формат "YYYYMM".

источник

11:47пожаловаться #1

DT

Dmitry Titov in ClickHouse не тормозит

а в ключе ее нет

источник

11:47пожаловаться #2

DT

Dmitry Titov in ClickHouse не тормозит

вообще это устаревший синтаксис и стоит от него отказатся

источник

11:47пожаловаться #3

m

mrAndersen in ClickHouse не тормозит

Ясно, понятно. Спасибо!

источник

11:47пожаловаться #4

m

mrAndersen in ClickHouse не тормозит

Попробую сейчас

источник

11:47пожаловаться #5

m

mrAndersen in ClickHouse не тормозит

вообще это устаревший синтаксис и стоит от него отказатся

Синтаксис опредения таблицы имеется ввиду ?

источник

11:49пожаловаться #6

DT

Dmitry Titov in ClickHouse не тормозит

да

источник

11:49пожаловаться #7

AS

Anton Saraev in ClickHouse не тормозит

Господа, подскажите пожалуйста, завезли ли возможность строить честные Funnels, чтобы можно было смотреть Event1->Event2->Event3, среднее время между ними или любые другие калькуляции? При этом важно иметь возможность задавать последовательность ивентов (точная, не точная, пропускать другие ивенты между нужными)? То что принято в подобных системах аналитики. Я нашёл пару докладов типп https://yandex.ru/efir?stream_id=40cef429501c6268975dbf25328804e8 Но выглядит это на первый взгляд костыльно и неполноценно. Классический пример воронки: https://help.amplitude.com/hc/en-us/article_attachments/115002761768/Screen_Shot_2017-01-18_at_3.37.20_PM.png Хочется уметь делать такое же очень быстро на очень больших данных.
У Яндекса есть своя https://appmetrica.yandex.ru/ И там до сих пор нет воронок, что наводит на мысль, что Clickhouse не очень подходит для таких задач.

Яндекс.Эфир

3. Creating marketing funnels or how to calculate complex metrics in ClickHouse — Mariya Mansurova — Смотреть в Эфире

Любое видео на выбор со всего интернета смотрите онлайн прямо на Яндексе: от минутных роликов до полнометражных фильмов.

https://clickhouse.tech/docs/ru/sql-reference/aggregate-functions/parametric-functions/#windowfunnel
но сходу посчитать среднее время между событиями там вроде как нельзя

clickhouse.tech

Параметрические агрегатные функции - Документация ClickHouse

Параметрические агрегатные функции Некоторые агрегатные функции могут принимать не только столбцы-аргументы (по которым

источник

11:49пожаловаться #8

И

Иван in ClickHouse не тормозит

Ясно, понятно. Спасибо!

Проверить можно select distinct partition from system.parts для таблицы

И да, новый синтаксис задания движка таблицы более читаем

источник

11:49пожаловаться #9

DT

Dmitry Titov in ClickHouse не тормозит

https://clickhouse.tech/docs/ru/sql-reference/aggregate-functions/parametric-functions/#windowfunnel
но сходу посчитать среднее время между событиями там вроде как нельзя

clickhouse.tech

Параметрические агрегатные функции - Документация ClickHouse

Параметрические агрегатные функции Некоторые агрегатные функции могут принимать не только столбцы-аргументы (по которым

если речь идет про массивы то arrayDiff же

источник

11:49пожаловаться #10

И

Иван in ClickHouse не тормозит

Проверить можно select distinct partition from system.parts для таблицы

И да, новый синтаксис задания движка таблицы более читаем

Там будет видно по месяцам партиции или по дням

источник

11:50пожаловаться #11

AS

Anton Saraev in ClickHouse не тормозит

https://clickhouse.tech/docs/ru/sql-reference/aggregate-functions/parametric-functions/#windowfunnel
но сходу посчитать среднее время между событиями там вроде как нельзя

clickhouse.tech

Параметрические агрегатные функции - Документация ClickHouse

Параметрические агрегатные функции Некоторые агрегатные функции могут принимать не только столбцы-аргументы (по которым

только там group by user, поэтому очень хорошо иметь шардированные данные и использовать distributed_aggregation_memory_efficient=1

источник

11:50пожаловаться #12

DT

Dmitry Titov in ClickHouse не тормозит

Там будет видно по месяцам партиции или по дням

раньше только по месяцам и умело, емнип

источник

11:51пожаловаться #13

m

mrAndersen in ClickHouse не тормозит

Проверить можно select distinct partition from system.parts для таблицы

И да, новый синтаксис задания движка таблицы более читаем

Да, я вижу, я просто упустил этот момент, быстро как-то дока обновилась)

источник

11:51пожаловаться #14

И

Иван in ClickHouse не тормозит

Да, я вижу, я просто упустил этот момент, быстро как-то дока обновилась)

Года уже полтора назад 👌

источник

11:52пожаловаться #15

m

mrAndersen in ClickHouse не тормозит

Я примерно столько не создавал новых таблиц 😂

источник

11:53пожаловаться #16

AS

Anton Saraev in ClickHouse не тормозит

Для более сложных условий, когда часть событий идёт подряд, а часть нет, можно использовать sequenceMatch. Но насколько я понимаю они не умеют понимать, что префикс уже посчитан другой агрегатной фукнцией, поэтому их приходится добавлять несколько раз в select. Что по идее приводит к увеличению потребления памяти.

источник

11:53пожаловаться #17

AS

Anton Saraev in ClickHouse не тормозит

если речь идет про массивы то arrayDiff же

но arrayDiff не знает же какая именно последовательность была найдена фукнцией windowFunnel. А делать воронки полностью на массивах достаточно хардкорно.

источник

11:56пожаловаться #18

DT

Dmitry Titov in ClickHouse не тормозит

но arrayDiff не знает же какая именно последовательность была найдена фукнцией windowFunnel. А делать воронки полностью на массивах достаточно хардкорно.

ну, тут сначала отфильтровать нужные нам значения(те попадания в воронку) потом оставить нужные события, потом arrayDiff, потом найти среднее

источник

11:57пожаловаться #19

DT

Dmitry Titov in ClickHouse не тормозит

ну я могу так себе представить, но это нужно пробывать

источник

11:57пожаловаться #20