Телеграмм чат группы clickhouse_ru страница 7669

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4029 membersпожаловаться на группу

2020 June 24

p

pv in ClickHouse не тормозит

Доброго времени суток всем.

Подскажите пожалуйста, нормально ли такое поведение для функции timeSeriesGroupSum?
Есть такие данные (это по сути пример из документации)

┌─uid─┬───────────timestamp─┬─value─┐
│   1 │ 2020-06-21 00:01:00 │     0 │
│   1 │ 2020-06-21 00:02:00 │     0 │
│   2 │ 2020-06-21 00:05:00 │     0 │
│   2 │ 2020-06-21 00:00:00 │     0 │
└─────┴─────────────────────┴───────┘

Делаю

SELECT timeSeriesGroupSum(uid, timestamp, value) AS ts
FROM 
(
    SELECT 
        uid, 
        toInt64(toUnixTimestamp(timestamp)) AS timestamp, 
        value
    FROM time_series
    ORDER BY timestamp ASC
)

┌─ts─┐
│ [] │
└────┘

Получаю пустой массив. Хотя ожидаю, что будет массив с тюплами [(ts1,0),(ts2,0),...]

источник

22:21пожаловаться #1

DT

Dmitry Titov in ClickHouse не тормозит

Доброго времени суток всем.

Подскажите пожалуйста, нормально ли такое поведение для функции timeSeriesGroupSum?
Есть такие данные (это по сути пример из документации)

┌─uid─┬───────────timestamp─┬─value─┐
│   1 │ 2020-06-21 00:01:00 │     0 │
│   1 │ 2020-06-21 00:02:00 │     0 │
│   2 │ 2020-06-21 00:05:00 │     0 │
│   2 │ 2020-06-21 00:00:00 │     0 │
└─────┴─────────────────────┴───────┘

Делаю

SELECT timeSeriesGroupSum(uid, timestamp, value) AS ts
FROM 
(
    SELECT 
        uid, 
        toInt64(toUnixTimestamp(timestamp)) AS timestamp, 
        value
    FROM time_series
    ORDER BY timestamp ASC
)

┌─ts─┐
│ [] │
└────┘

Получаю пустой массив. Хотя ожидаю, что будет массив с тюплами [(ts1,0),(ts2,0),...]

могу ошибаться. но скорее всего он просто игнорирует те засечки где значение равно 0

источник

22:47пожаловаться #2

p

pv in ClickHouse не тормозит

могу ошибаться. но скорее всего он просто игнорирует те засечки где значение равно 0

Помоему несколько неожиданное поведение. На самом деле, проблема возникла в запросе где делается несколько таких timeSeriesGroupSum с гарантировано одинаковыми метками времени, но по разным полям. Но не получается потом развернуть этот массив обратно через ARRAY JOIN ts1, ts2 т.к. они получаются в итоге разных размеров и CH ругается.

источник

22:51пожаловаться #3

Y

Yan in ClickHouse не тормозит

Доброго времени суток всем.

Подскажите пожалуйста, нормально ли такое поведение для функции timeSeriesGroupSum?
Есть такие данные (это по сути пример из документации)

┌─uid─┬───────────timestamp─┬─value─┐
│   1 │ 2020-06-21 00:01:00 │     0 │
│   1 │ 2020-06-21 00:02:00 │     0 │
│   2 │ 2020-06-21 00:05:00 │     0 │
│   2 │ 2020-06-21 00:00:00 │     0 │
└─────┴─────────────────────┴───────┘

Делаю

SELECT timeSeriesGroupSum(uid, timestamp, value) AS ts
FROM 
(
    SELECT 
        uid, 
        toInt64(toUnixTimestamp(timestamp)) AS timestamp, 
        value
    FROM time_series
    ORDER BY timestamp ASC
)

┌─ts─┐
│ [] │
└────┘

Получаю пустой массив. Хотя ожидаю, что будет массив с тюплами [(ts1,0),(ts2,0),...]

не разбираюсь вообще, но в доке

timeSeriesGroupSum агрегирует временные ряды в которых не совпадают моменты.

источник

22:51пожаловаться #4

p

pv in ClickHouse не тормозит

не разбираюсь вообще, но в доке

timeSeriesGroupSum агрегирует временные ряды в которых не совпадают моменты.

ну могут совпадать, могут не совпадать. Тут проблема, что игнорируется значение 0.

источник

22:52пожаловаться #5

DT

Dmitry Titov in ClickHouse не тормозит

ну могут совпадать, могут не совпадать. Тут проблема, что игнорируется значение 0.

а если дописать Array?

источник

22:55пожаловаться #6

p

pv in ClickHouse не тормозит

а если дописать Array?

А куда? (я на самом деле не настоящий сварщик)

источник

22:56пожаловаться #7

DT

Dmitry Titov in ClickHouse не тормозит

А куда? (я на самом деле не настоящий сварщик)

у вас два value ? value1, value2?

источник

22:59пожаловаться #8

p

pv in ClickHouse не тормозит

у вас два value ? value1, value2?

Не совсем.. у меня Nested поля. Примерно так:

   ts DateTime,
   uid int64,
   Nested {
       val1,
       val2
   }

А мне надо всех привести к одной временной шкале toStartOfMinute(ts)

источник

23:02пожаловаться #9

p

pv in ClickHouse не тормозит

При этом timeSeriesGroupSum умеет только с Float64 работать в качестве значения.
Идея была развернуть nested (array join)... по всем полям сделать timeSeriesGroupSum, развернуть обратно по времени.. ну и обработать там ещё как надо.

источник

23:06пожаловаться #10

Y

Yan in ClickHouse не тормозит

у clickhouse есть какой-нибудь query inspector?

источник

23:09пожаловаться #11

DT

Dmitry Titov in ClickHouse не тормозит

у clickhouse есть какой-нибудь query inspector?

set send_logs_level='trace'

источник

23:09пожаловаться #12

Y

Yan in ClickHouse не тормозит

set send_logs_level='trace'

👍

источник

23:11пожаловаться #13

DT

Dmitry Titov in ClickHouse не тормозит

При этом timeSeriesGroupSum умеет только с Float64 работать в качестве значения.
Идея была развернуть nested (array join)... по всем полям сделать timeSeriesGroupSum, развернуть обратно по времени.. ну и обработать там ещё как надо.

мх

источник

23:12пожаловаться #14

DT

Dmitry Titov in ClickHouse не тормозит

Не совсем.. у меня Nested поля. Примерно так:

   ts DateTime,
   uid int64,
   Nested {
       val1,
       val2
   }

А мне надо всех привести к одной временной шкале toStartOfMinute(ts)

А сколько таких полей в nested?

источник

23:13пожаловаться #15

p

pv in ClickHouse не тормозит

А сколько таких полей в nested?

с которыми надо провернуть такую штуку всего два.

источник

23:13пожаловаться #16

DT

Dmitry Titov in ClickHouse не тормозит

с которыми надо провернуть такую штуку всего два.

ну, проблема возникает в том, что у тебя не совпадает длина массивов, а насколько большие промежутки ожидаются?

источник

23:14пожаловаться #17

p

pv in ClickHouse не тормозит

Ну это в каком-то смысле не предсказуемо. Значения то там есть, просто нули. Если бы timeSeries их не выкидывал, то было бы всё хорошо ) Но видимо в этом поведении есть какая-то логика (он ведь аппроксимирует между точками, когда формирует недостающие), но вот с нулями как-то не так.

источник

23:16пожаловаться #18

p

pv in ClickHouse не тормозит

Но я уже склоняюсь к тому, что наверное мне в коде приложения это будет проще обработать

источник

23:16пожаловаться #19

DT

Dmitry Titov in ClickHouse не тормозит

Ну в принципе можно через arrayMap сделать, кмк но возможно оно того не стоит

источник

23:19пожаловаться #20