может и flush не нужен

flush ничего не делает такого, оно и само пропагейтится если может

А какой тогда best practice для масштабирования, одна нода одна задача (либо шард, либо реплика) ?

Кто-нибудь может подсказать, в каком формате пишутся access-файлы?
roles.list, users.list, quotas.list и т.д.

зачем? они для КХ, они не для людей

Плохая идея их ручками редактировать?

там записано
имяпользователяuuid
имяролиuuid

в файлах /var/lib/clickhouse/access/95401b99-f947-1ced-813c-471c5044c29b.sql
хранятся сами sql

Это я видел, но разделитель между имяпользователяuuid  - управляющий символ, зависящий от длины имяпользователя
Вот подумал, может, это стандартный формат какой-то

предполагается что их редактирует только КХ, естественно он их не перечитывает

при перезапуске перечитывает)

скорее всего в первом байте хранится длина имени пользователя

в leb128

ну если я правильно понимаю он должен мне вернуть управление в момент когда все что выставлено в очередь на момент начала выполнения flush выполнено (или я фантазёр?)

в случае если я создам дистрибьютед поверх system.distribution_queue на интересующем кластере - я могу смотреть за нужной таблицей только есть ли очередь в моменте, т.е. в теории (если у меня сеть на одной из машин просела и в очередь накидыватся с той же скоростью как и разгребается) - я могу не дождаться having sum(data_files) = 0 в рамках окошка времени

одна нода/контейнер/вм - один инстанс КХ - и это не для масштабирования, а для эксплуатации и избежания непонятных проблем

>ну если я правильно понимаю он должен мне вернуть управление в
> момент когда все что выставлено в очередь на момент начала выполнения flush выполнено (или я фантазёр?)
да, так и работает

понятно. Не будет у вас счастья

понял, спасибо, придется обходить стадо

Ребят подскажите пожалуйста, для передачи данных в clickhouse планирую собирать информацию с помощью nodejs, планировал использовать pusub firebase functions но там таймаут на 9 минут максимум, это значит что я не могу выполнять сбор данных более 9 минут через crontab, кто знает какое-нибудь решение облачного сервиса? Так чтобы не заботиться об инфраструктуре и сразу начать кодить

кафка неплохо заходит

нодой пишете в кафку а из кафки Kafka движок в кх читает