Нужны альтернативы. Для одной даты такая конструкция работает нормально. А для диапазона вываливается по памяти Select id, Val, Date, toDate('2021-01-01')+toIntervalDay(d) as dt
From test
inner join test as test1 using id
Array join range(5) as d
Where test.Date <= toDate('2021-01-01') + toIntervalDay(d) and test1.Date <= toDate('2021-01-01') + toIntervalDay(d)
group by id, Val, Date, dt
having max(test1.Date) = Date
Order by dt, id;

баз массива - это выборка последних значений. с массивом - последние значения на несколько дней

получается большой километровый JSON со строками? не проще обработать его сначала? (например, через jq -c .[])?

Если в каждой строке их всего несколько, можно наверное парсить при помощи materialized view с engine = null практически из любого безумного формата.

Не совсем понял.  Т.е нужно явно создать сеттинг?  

create view default.test
as
select {id:string}

Выдает Code: 115, e.displayText() = DB::Exception: Unknown setting id (version 21.2.5.5 (official build))

create view default.test
as
select getSetting('custom_myParam');


select * from default.test
settings custom_myParam='4343';

Code: 115, e.displayText() = DB::Exception: Unknown setting myParam: While processing getSetting('myParam') (version 21.2.5.5 (official build))

https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#custom_settings_prefixes
в конфиге определили?

боюсь что не совсем понял идею. вообщем, я поправил бэк и теперь отдаю данные в формате jsonl. но возникла другая проблема что clickhouse ругается если  json объект есть поле которого нет в таблице. можно как-то сказать ему игнорировать лишние поля?

ошибка DB::Exception: Unknown field found while parsing JSONEachRow format

input_format_skip_unknown_fields?

Есть ли способ настроить автоматическое удаление данных старше Х дней?

сорри префикс тож нужен был

Да, TTL. Но реально удалятся только при мерджах

select getSetting('custom_myParam') 
settings custom_myParam='3';

так работает?

спасибо, посмотрю!

select getSetting('custom_myParam') 
settings custom_myParam='3';

да , работает. Я обратил внимание на Ваш пост выше. 👍

то что нужно - спасибо

кстати, а в url table function можно передавать параметры динамически из другой таблицы ли любого другого источника. например, есть у меня в таблице agentId, я по нему хочу динамически заджойнить таблицу url(agents/{agentId}/transactions) и что-то сделать - это возможно?

Там два варианта, один из них - когда клиент получает ответ после вставки батча. То есть, много конкурентных клиентов ждут формирования батча и его вставки. Другой - fire and forget, полностью асинхронный.

А есть чат разработчиков clickhouse-operator?

лучше на гитхаб писать