Плюсы есть:
1. Ненужные данные вообще не будут храниться и мерджиться.
2. Не нужно внешней приложухи, которая будет делать все эти переливания\конвертации по таймеру
3. Преобразования будут происходить не раз в N времени над большим объёмом записей, а в реальном времени над небольшими пачками данных.

Пример сейчас неудобно печатать. Общий смысл: делаете одну таблицу с движком Null с полями как в источнике - она будет нужна только как точка входа для работы MV, делаете вторую таблицу с нужным движком и правильными полями - это будет само хранилище, делаете MV на первую таблицу - оно будет преобразовывать данные по мере поступления и складывать их в хранилище в нужном виде.

Понял, нашёл пример использования Null + MV - как раз разбираюсь с ним.
Это позволяет мне реализовать текущие хотелки.

Спасибо за пинок в правильном направлении

как раз протестирую как оно отработает заливку из старой базы на 600+ млн записей

Ребят не подскажите, как можно мониторить, были ли инсерты за последний час в таблицу ? Так чтобы это не нагружало clickhouse ?

счетчики смотрите изменение
SELECT * FROM system.events WHERE metric='InsertedRows';

Спасибо, а есть ли где нибудь инфа, с какого адреса выполняется запрос?

в system.query_log есть address и initial_address, что-то такое

А это общий счётчик же? А по таблицам такого нет?

Коллеги, всем привет!
Сделал Feature Issue на GitHub на тему мониторинга вставок в КХ. Прошу заплюсовать кому это было бы интересно.
https://github.com/ClickHouse/ClickHouse/issues/21781

Посмотрите движки вроде SummingMergeTree, возможно попадает в ваш юзкейс https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/summingmergetree/

system.tables - total_rows
если раз в час снимать, то нормально будет

мы делаем такое через матвью на каждую таблицу в которую идут вставки

такой дашборд на выходе получаем

Это как? Через mat view вставляете?

этот счетчик скачет сильно, тяжело смотреть

всем добра,
какие запросы КХ кушает хорошо, которые заваливает Импала? нужно сделать "правильный" бенчмарк

Есть таблица, в которой собраны метрики по всем вставкам во все таблицы. Назвали её insert_monitor.
На те таблицы, в которые идет вставка повешены матвью.
Все эти матвью в момент вставки данных записывают кол-во вставленных строк в таблицу insert_monitor

Такая структура таблицы
┌─name─────┬─type────┐
│ date     │ Date    │
│ ts       │ DateTime│
│ table    │ String  │
│ rows     │ Int64   │
│ hostname │ String  │
│ source   │ String  │
└──────────┴─────────┘

интересно, а как считаете количество вставляемых строк?

в смысле скачет?
вы данные удаляете? или что?