5-10 тысяч в секунду, ..,  в год? Раз в 7 секунд flush в kafka-engine

дефолтный 1 млн. Там две настройки, сколько poll, и сколько флаш

что? раз 1-3 минуты, наблюдается такая нагрузка ~40-50 секунд.

надо лог смотреть.

вопросы от новичка по (отсутствующим?) в КХ агрегационным функциям
есть таблица weather с погодными данными
- id гео-региона gid
- локальное время (с точностью до часа) time_local
- куча колонок с измерениями (например, кол-во осадков, температура, и т.д. простой вариант - все числовые)
таблица отсортирована по (gid, time_local asc), дубликатов по этому ключу нет, в рамках каждго gid не более 10000 записей (365 дня*24 часа измерений)

сами вопросы:
- как вычислить (и присоединить left join-ом к изначальной таблице weather в запросе) скользящую сумму по какой-нибудь числовой колонке в рамках группировки по gid (например, суммарное кол-во осадков за 5 часов)
- как вычислить (и присоединить left join-ом к изначальной таблице weather в  запросе) скользящее среднее по какой-нибудь числовой колонке в рамках группировки по gid (например, средняя скорость ветра за 5 часов)

я так понимаю, что нужно использовать что-то по типу groupArrayMovingSum / groupArrayMovingAvg ?
c указанием окна (допустим, 5 строк, что в идеальном сценарии = окно в 5 часов включая текущий ? )

например, как развернуть и "присоединить" к изначальной таблице weather результаты такого запроса

select gid, groupArrayMovingAvg(5)(windspeed) as rolling_ws,  groupArrayMovingSum(5)(precipitation) as rolling_precip_sum
from weather
group by gid

?
Заранее большое спасибо

select gid, groupArrayMovingAvg(5)(windspeed) as rolling_ws,  groupArrayMovingSum(5)(precipitation) as rolling_precip_sum
from weather
group by gid

я бы на вашем месте поставил тестинг и писал
тупо

avg(quantity) over (partition by brand_id, rack_id order by dt, quantity
                      ROWS BETWEEN 3 PRECEDING AND CURRENT ROW ) avg_moving

я пытаюсь обложить тестами window functions и там что удивительно все работает

из того что реализовано https://github.com/ClickHouse/ClickHouse/blob/master/docs/en/sql-reference/window-functions/index.md

а, круто!
сейчас попробую традиционный подход

apt-get install clickhouse-server=21.3.1.6054 clickhouse-client=21.3.1.6054  clickhouse-common-static=21.3.1.6054

кстати groupArrayMovingAvg удивительно нелогично считает края, среднее от 1, получается 0.25



SELECT groupArrayMovingAvg(4)(1)

┌─groupArrayMovingAvg(4)(1)─┐
│ [0.25]                    │
└───────────────────────────┘

👽

Ну логика впринципе понятна, другое дело, что наверное не все ее ожидают увидеть именно такой.

по поводу агрегатных функций - на слайдах я находил, что поддерживаются с версии 21.1
https://presentations.clickhouse.tech/meetup50/new_features/#16
в версии ch-server 21.1.2.х они есть? или только в тех версиях 21.3.1+, что вы скидывали выше?
можно ли из клиента с правами админа запустить SET allow_experimental_window_functions = 1 на сервере (или как это работает ? как включить этот функционал)

В 21.1 они совсем сырые были.

>  SET allow_experimental_window_functions = 1
Да
либо выставить такой сеттинг в profile секции пользователя

спасибо, постараемся накатить версии более новые

Добрый вечер. Недавно начал использовать clickhouse. Столкнулся с задачкой, хотел бы спросить совета.
Есть база events, необходимо создать аналог DUPLICATE KEY UPDATE изи mysql, а именно создать VIEW, в которой будут складываться значения param для случая дублирования по ключчам. Нашёл как пример ReplacingMergeTree, однако там идёт скорее не update, а удаление старых строк и создание новых при одинаковых ключах.

Большое спасибо