PC
А в случае если массив будет многомерный(вложенность - 2), и уникальность определяется одним из полей вложенных массивов, не знаете что делать?
Size: a a a
2020 September 21
DC
А в случае если массив будет многомерный(вложенность - 2), и уникальность определяется одним из полей вложенных массивов, не знаете что делать?
уникальность чего определяется ? Ключ для агрегации задается в Order by таблицы, мерж не смотрит внутрь AggregateFunction, он вычисляет AggregateFunction группируя по полям Order_by таблицы
грубо говоря нельзя сделать
select sum(V), K
group by if(V=5) ,K
грубо говоря нельзя сделать
select sum(V), K
group by if(V=5) ,K
DC
По идее, я планировал только переписать партицию (модифицировав один из ключей сортировки), тобишь данные должны остаться в том же партишине (создав новые куски с модифицироваными данными).
clear column / ttl group by, я так понимаю не дает возможности сохранить некоторые из значений, он хардкорно сетит дефолт всей колонке в партиции.
clear column / ttl group by, я так понимаю не дает возможности сохранить некоторые из значений, он хардкорно сетит дефолт всей колонке в партиции.
я не смотрел TTL group by, это совершенно новая фича, но он называется TTL WHERE/group by возможно им и можно такое сделать , конечно для новой таблицы, для старой скорее всего не подойдет, там надо другой первичный ключ задавать скорее всего
PC
уникальность чего определяется ? Ключ для агрегации задается в Order by таблицы, мерж не смотрит внутрь AggregateFunction, он вычисляет AggregateFunction группируя по полям Order_by таблицы
грубо говоря нельзя сделать
select sum(V), K
group by if(V=5) ,K
грубо говоря нельзя сделать
select sum(V), K
group by if(V=5) ,K
В конечном итоге MaterializedView должен иметь такой вид:
cityHash(id1, id2, id3, id4) | events
——————————————————————————————
111211212312321312123 | [[event, datetime], [event, datetime]]
И нужна уникальность массивов в event по полю events, там должны быть только последние добавленные события.
cityHash(id1, id2, id3, id4) | events
——————————————————————————————
111211212312321312123 | [[event, datetime], [event, datetime]]
И нужна уникальность массивов в event по полю events, там должны быть только последние добавленные события.
DC
В конечном итоге MaterializedView должен иметь такой вид:
cityHash(id1, id2, id3, id4) | events
——————————————————————————————
111211212312321312123 | [[event, datetime], [event, datetime]]
И нужна уникальность массивов в event по полю events, там должны быть только последние добавленные события.
cityHash(id1, id2, id3, id4) | events
——————————————————————————————
111211212312321312123 | [[event, datetime], [event, datetime]]
И нужна уникальность массивов в event по полю events, там должны быть только последние добавленные события.
ни черта не понял. Я плохо по русски понимаю, давайте SQL
НЧ
Скажите, это нормальное поведение?
НЧ
select arrayMap(x -> trimBoth(x), [])
НЧ
Code: 43, e.displayText() = DB::Exception: Illegal type Nothing of argument of function trimBoth (version 20.7.2.30 (official build))
DC
Николай Чернов
Скажите, это нормальное поведение?
да, так и задумано , нельзя вывести тип из []
select arrayMap(x -> trimBoth(x), cast([], 'Array(String)'))
select arrayMap(x -> trimBoth(x), cast([], 'Array(String)'))
НЧ
о! спасибо!
DC
точнее у []
desc (select [])
Array(Nothing)
а trimBoth ожидает String, а не Nothing
desc (select [])
Array(Nothing)
а trimBoth ожидает String, а не Nothing
PC
ни черта не понял. Я плохо по русски понимаю, давайте SQL
Пожалуйста, есть таблица:
Но, при реалтайм insert, в поле events в представлении оказывается только последнее добавленное событие.
CREATE TABLE entity_eventsЕсть представление:
(
datetime DateTime,
event UInt8,
entity1 String,
entity2 String,
entity3 String
) ENGINE = MergeTree()
ORDER BY datetime;
CREATE MATERIALIZED VIEW user_trace_poolЗадача стоит, что бы в массиве events представления всегда лежали только последние события сгруппированые по полю event из таблицы, и отсортированные по datetime.
ENGINE = AggregatingMergeTree()
POPULATE AS
SELECT cityHash64(entity1, entity2, entity3) as id,
groupArrayState(
[event, datetime]
) as events
FROM (
SELECT any(datetime) as datetime,
event,
entity1,
entity2,
entity3
FROM entity_events
GROUP BY (event, entity1, entity2, entity3)
) GROUP BY id;
Но, при реалтайм insert, в поле events в представлении оказывается только последнее добавленное событие.
pk
PC
у меня не только последнее
https://pastebin.com/18k741Pq
https://pastebin.com/18k741Pq
Воот, Ваш результат похож на мой.
Только я до этого не использовал groupArrayState, и получал только последнее событие во view
Только я до этого не использовал groupArrayState, и получал только последнее событие во view
PC
А в конечном итоге должно оказаться событие
(1,'2020-09-20 00:00:01').PC
А если сделать arrayReverse, и отфильтровать потом по первым элементам при помощи arrayEnumerateUniq
PC
Хотя, не выйдет там datetime разный.
pk
а почему не брать max((datetime,event))
PC
Вот про
max((datetime,event)) я что - то совсем не понялpk
зачем groupArray, если можно просто взять последний во времени