Я для критичных данных вообще буффер не использывал бы

ну, при краше сервера потерять секунды 2-3 таких данных не критично

главное чтобы они не терялись в процессе нормальной работы)

Если конфиги норм, не вижу проблемы

Тогда попробуем

сейчас просто пишу в редис маленькими пачками и потом пачками побольше в кликхаус, с буфером надеюсь убрать один шаг и писать прямо в него мелкими пачками

А какой рпс ?

2к

то есть по плану буфер на 6 секунд и 24к строк

А, ну это совсем не много

Ребята
если я вижу в
select * from system.metrics;
ZooKeeperSession = 2
* Number of sessions (connections) to ZooKeeper. Should be no more than one, because using more than one connection to ZooKeeper may lead to bugs due to lack of linearizability (stale reads) that ZooKeeper consistency model allows.

это вообще проблема?

в конфиге вроде ничего сверхъестественного:

    <zookeeper>
        <node>
            <host>10.X.X.2</host>
            <port>2181</port>
        </node>
        <node>
            <host>10.X.X.3</host>
            <port>2181</port>
        </node>
        <node>
            <host>10.X.X.4</host>
            <port>2181</port>
        </node>
        <node>
            <host>10.X.X.5</host>
            <port>2181</port>
        </node>
        <node>
            <host>10.X.X.6</host>
            <port>2181</port>
        </node>
        <session_timeout_ms>30000</session_timeout_ms>
    </zookeeper>

А раз уж про это речь зашла - это вообще нормальный паттерн, использовать Buffer для накопления данных с последующим выгребанием в MergeTree?

Вопрос в вакууме, раз такое сделали, логично что для буффера свои кейсы

У меня через буффер. 200 серваков льют в него пачечками, он в одну. Про размер правде не скажу. Но тысячи точно. Вроде живет

а если альтерить таблицу - убиваете буфер, альтерите, создаете буффер?

да

это ж быстро

и при смерти она сбрасывает буфер ок?

Ну тогда прям выглядит как хорошая штука этот буфер

До 10-15 к рпс +- норм, дальше думаю уже риск