через что угодно можете, зависит уже от данных... etl короче

но если событие есть задним числом, можно всё пересчитать после изменения? кх должен же быстро считать?

а ты не мог бы поделиться своими идеями? а то мы буксуем, а задача вроде несложная.

в этой партиции точно +200млн ?

Добрый день. Настраиваю Tableau Server + Clickhouse. Какой диалект нужно указывать в коннекторе ? Подскажите пожалуйста.  
dialect.tdd
<dialect name='SQLDialect'
        class='clickhouse_odbc'
        version='18.1'>
</dialect>

Спасибо.

да, сейчас чуть меньше

Всем привет.
Возможно sumMap запретить удалять нулевые значения?

да, через tuple(value)

не совсем понял

Вот таблица для примера

CREATE TABLE table_test (
  `field` LowCardinality(String),
  `fieldMap1` SimpleAggregateFunction(sumMap, Tuple(Array(String), Array(Int64))),
  `fieldMap2` SimpleAggregateFunction(sumMap, Tuple(Array(String), Array(Int64))),
  `fieldMap3` SimpleAggregateFunction(sumMap, Tuple(Array(String), Array(Int64))),
  `total` SimpleAggregateFunction(sum, Int64)
) ENGINE = AggregatingMergeTree()
ORDER BY
  field SETTINGS index_granularity = 4096

сорри я погнал, думал про аггрегаций, имхо только заменой на спец. значение типа:

select sumMap(arrayMap(a->coalesce(a,-999999),x), y) from (
select [2,3,null,2,3] AS x, [1,1,2,3,4] as y )

select sumMap(arrayMap(a->coalesce(a,-999999),x), y) from (
select [2,3,null,2,3] AS x, [1,1,2,3,4] as y )

ну т.е. в данном случае вообще никак получается.
если в fieldMap1 уже лежит [['a'],[1]] и приходит [['a'],[-1]], то он удалит ключ "а" со значением 0

И заменить даже не получится, так как в процессе не известно значение "a"

CREATE TABLE table_test (
  `field` LowCardinality(String),
  `fieldMap1` SimpleAggregateFunction(sumMap, Tuple(Array(String), Array(Int64))),
  `fieldMap2` SimpleAggregateFunction(sumMap, Tuple(Array(String), Array(Int64))),
  `fieldMap3` SimpleAggregateFunction(sumMap, Tuple(Array(String), Array(Int64))),
  `total` SimpleAggregateFunction(sum, Int64)
) ENGINE = AggregatingMergeTree()
ORDER BY
  field SETTINGS index_granularity = 4096

стоп, у вас же строки как ключи, все должно быть ок. у вас где нулевые значения приходят?

если результат суммирования value равен 0, то ключ удаляется из map вместе с его 0 значением

Просто все выглядит так, что придется переходить на MergeTree с TTL group by

действительно... не обращал внимания вообще )
придется вам рядом arrayDistinct для ключей держать как колонку...

select arrayDistinct(flatten(groupArray(x))) as keys, sumMap(x, y)  from (
select [1,3,3] AS x, [1,-1,1] as y UNION ALL
select [1,4,5] AS x, [1,1,-1] as y)

select arrayDistinct(flatten(groupArray(x))) as keys, sumMap(x, y)  from (
select [1,3,3] AS x, [1,-1,1] as y UNION ALL
select [1,4,5] AS x, [1,1,-1] as y)

оу, точно, можно же их рядышком положить!
спасибо! :)

Это значит, что можно иметь три реплики КХ используя зукипер только на одной машине, верно?

да.

но
Если машина с зукипером рестартанет, то таблицы в КХ станут readonly.
Если на машине с зукипером кончится место, то зукипер запорет свою базу, и придется переатачивать таблицу в КХ чтобы пересоздать мету в зукипере

Благодарю!