доброго всем времени суток, подскажите, пожалуйста, такой момент: есть задача, в которой в систему поступает поток очень большой событий, события разделяются на типы (их на текущий момент примерно 30), у событий есть общие параметры и есть некоторые уникальные атрибуты.
Как Вы считаете будет ли рациональным уникальную часть для каждого типа событий писать в json-документ, который хранить в поле данных тип String, а общие атрибуты хранить как поля соответствующих типов данных? В последствие подразумевается обработка уникальных атрибутов, сохранённых в json средствами самого Clickhouse.

да может быть рациональным. Учитывайте что запросы к json будут в 1000 раз медленее чем к нормальным атрибутам в полях

допусти инсерт в таблицу создает один парт и он должен "откатиться" (видимо физически файл удалиться). В какой момент пайплайна стриггерится инсерт в MV ?

повторять битый инсерт бесполезно ведь. Он не пройдет целиком как есть

Через драйвер https://github.com/ClickHouse/clickhouse-go на го кто делал bulk insert? Можете прояснить, как это происходит вообще? он отправляет все данные в кликхауз, кликхауз буфферизует, а после Commit'а добавляет в таблицу?

если все инсерты одним махом вставите, второй...
если собрались построчно - первый... но при падении КХ данные могут быть в недетерминированном состояниии

так я ту же таблицу и джойнил 🙂 Задача была - надо было сджойнить два действия пользователя, одно за другим и сделать воронку. Ну а в кликхаусе я думал сджойнить таблицу юзеров и их действий. И там и там PK - это userID.

что такое недетерминированное состояние