Телеграмм чат группы clickhouse

SummingMergeTree | Документация ClickHouse

Andrey

Наверное вам сюда тогда.
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/summingmergetree/

clickhouse.tech

SummingMergeTree Движок наследует функциональность MergeTree. Отличие заключается в том, что для таблиц SummingMergeTree

я не уверен, что подойдет для нарастающего итога, разве что в пределах одной даты объединит

15:33пожаловаться #1

> но тебе же, нужно по ключам каким то формировать это все?
не одно число для всей таблицы?
Именно, date и будет ключом. Т.е. я хочу в результате все даты и промежуточные итоги по каждой в результате

Andrey in ClickHouse не тормозит

15:34пожаловаться #2

sum с group by date?

15:35пожаловаться #3

но это дает только строчки где в группе одна дата

15:36пожаловаться #4

если бы существовало group by ((<=) date)

Andrey in ClickHouse не тормозит

15:36пожаловаться #5

но это дает только строчки где в группе одна дата

так оберните еще одним sum)

15:36пожаловаться #6

но это дает только строчки где в группе одна дата

если у тебя это будет отдельным запросом то не зазорно сделать отдельную таблицу и там через массивы запросом уже получать нарастающий итог

15:37пожаловаться #7

Andrey

так оберните еще одним sum)

Не очень понимаю как 🤷‍♂️

15:37пожаловаться #8

Dmitry Titov

Таблицу делать не хочу - на задачу мало времени, а данных очень много - и на разных серверах

Andrey in ClickHouse не тормозит

15:38пожаловаться #9

Не очень понимаю как 🤷‍♂️

select sum(field) from (select ....)

покажите в общем таблицу исходную вашу. И уже от этого будем отталкиваться

Дмитрий Бережнов... in ClickHouse не тормозит

15:38пожаловаться #10

ДБ

Viacheslav Nefedov

мы спарком перегоняли, у него более гибко было с форматами

У вас не было проблем с перегоном колонок с типом Array? Я не знаю есть ли в Вертике массивы. У меня в исходной базе были (монга) и при записи в КХ через jdbc спарк падал, не мог записать колонку с типом Array

15:39пожаловаться #11

Таблицу делать не хочу - на задачу мало времени, а данных очень много - и на разных серверах

ок
SELECT groupArrayMovingSum(sum) FROM(sum(counter) as sum GROUP BY date)

15:40пожаловаться #12

мб так

Дмитрий in ClickHouse не тормозит

15:40пожаловаться #13

Запустил ALTER TABLE на удаление строк. В итоге block_numbers висит и никуда не двигается. is_done у мутации = 0. Как понять, они выполняются или зависли?
Версия 18.14.15

15:42пожаловаться #14

Dmitry Titov

ок
SELECT groupArrayMovingSum(sum) FROM(sum(counter) as sum GROUP BY date)

О, по названию очень похоже на то что мне нужно!

Denny Crane (I don't... in ClickHouse не тормозит

15:43пожаловаться #15

О, по названию очень похоже на то что мне нужно!

вообще-то это не нарастающий итог. Что такое нарастающий итог? есть runningAccumulate есть arrayCumSum

15:45пожаловаться #16

SELECT groupArrayMovingSum(number)
FROM numbers(10)

┌─groupArrayMovingSum(number)─┐
│ [0,1,3,6,10,15,21,28,36,45] │
└─────────────────────────────┘

?

15:47пожаловаться #17

@den_crane а где об этом почитать? есть ли дока?

15:47пожаловаться #18

это не совсем оно?

15:47пожаловаться #19

почти 🙂 Вот что получилось:

SELECT groupArrayMovingSum(n)
FROM 
(
    SELECT 
        date, 
        sum(n) AS n
    FROM 
    (
        SELECT 
            arrayJoin(['2020-01-01', '2020-01-02']) AS date, 
            arrayJoin([1, 1]) AS n
    )
    GROUP BY date
    ORDER BY date ASC
)

┌─groupArrayMovingSum(n)─┐
│ [2,4]                  │
└────────────────────────┘