походу да

(

Подскажите, а материализованное представление на каждой реплике делать?

да

спасибо!

При нештатном перезапуске сервера, данные, находящиеся в буфере, будут потеряны.
(С) доки Кликхауза

Нештатное это ...? systemctl stop service clickhouse-server - это "штатное"?

да, это штатное
нештатное  это killall -9 $(pgrep clickhouse-server)

А можно на тех годах где только где инсёрт данных идёт?

Это еще когда OOM пришел

Ну еще OOM и sigsegv например + выключение сервера по любым железным причинам

Подскажите, монжо ли как-то "реиндексировать" пересоздать первичный индекс?
Столкнулся с тем, что поиск по индексу для некоторых полей возвращает не все данные:
По индексу

select count(*) from $table WHERE CityID = '15b9f91c-f775-11e7-80a7-00155d03330d'
┌─count()─┐
│  368688 │
└─────────┘

Без использования индекса

select count(*) from $table WHERE toString(CityID) = '15b9f91c-f775-11e7-80a7-00155d03330d'
┌──count()─┐
│ 26781483 │
└──────────┘

Гранулярность по дефолту 8192

В первом случае в trace прямо пишет

Key condition: (column 0 in ['15b9f91c-f775-11e7-80a7-00155d03330d', '15b9f91c-f775-11e7-80a7-00155d03330d'])
Reading approx. 606208 rows

Доброе утро!

Очень странная ситуация, есть MergeTree и AggregatingMergeTree, если в ручную сделать запрос по которому формируется выборка для вьюхи из родительского MergeTree, то приходит правильный набор данных (есть все даты, группировка по нескольким полям в том числе по дате, пропущенных дат нет).

Если же сделать эту выборку из AggregatingMergeTree то там есть пропуски по датам (сортировка сам собой есть по date desc как в первом так и во втором случае), как будто бы не записываются данные. Ошибок в логах нету, uptime у сервера больше 320 дней. Что может быть не так?

ddl покажешь?

Момент

DDL Вьюхи

CREATE MATERIALIZED VIEW child
(
 `appId` UInt32,
 `event` UInt8,
 `count` AggregateFunction(count, String),
 `uniq` AggregateFunction(uniq, String),
 `priceId` UInt32,
 `date` Date
)
ENGINE = AggregatingMergeTree(date, (appId, event, priceId), 8192)
AS
SELECT appId, event, countState(uidId) AS count, uniqState(uidId) AS uniq, priceId, date
FROM parent_merge_tree
GROUP BY appId, event, priceId, date;

Господа, подскажите пожалуйста, завезли ли возможность строить честные Funnels, чтобы можно было смотреть Event1->Event2->Event3, среднее время между ними или любые другие калькуляции? При этом важно иметь возможность задавать последовательность ивентов (точная, не точная, пропускать другие ивенты между нужными)? То что принято в подобных системах аналитики. Я нашёл пару докладов типп https://yandex.ru/efir?stream_id=40cef429501c6268975dbf25328804e8 Но выглядит это на первый взгляд костыльно и неполноценно. Классический пример воронки:  https://help.amplitude.com/hc/en-us/article_attachments/115002761768/Screen_Shot_2017-01-18_at_3.37.20_PM.png Хочется уметь делать такое же очень быстро на очень больших данных.
У Яндекса есть своя https://appmetrica.yandex.ru/ И там до сих пор нет воронок, что наводит на мысль, что Clickhouse не очень подходит для таких задач.

через массивы вполне можно попробовать

попробовать разумеется можно, пишу генератор датасетов с правдоподобным поведением юзеров (на keggl че-то не нашел ни одного датасета с user behavior) как раз, чтобы попробовать. Но хотелость бы услышать от кого-то реальный опыт на, допустим, 100-500млн ивентов. Насколько те же массивы будут быстры и прожорливы.