ЕО
благодарю за развернутый ответ
Size: a a a
2020 September 23
DG
Отличное ТЗ, берете и делаете. Из коробки у Кафки есть мироринг из одного кластера в другой,но на практике работает плохо. Самое простое это написать что нужно самим. Там все ровно как написано выше: читаете, пишите куда вам там надо и все. Между eu и us лучше вычитывать пачку, сжимать и отправлять, вот и все
Всячески хотелось этого избежать и завестись с полуполпинка. Окей, спасибо.
На всякий случай посмотрим еще confluent/kafka и проч. на практике, иначе напишем сами.
Всем спасибо за ответы.
На всякий случай посмотрим еще confluent/kafka и проч. на практике, иначе напишем сами.
Всем спасибо за ответы.
DC
Всячески хотелось этого избежать и завестись с полуполпинка. Окей, спасибо.
На всякий случай посмотрим еще confluent/kafka и проч. на практике, иначе напишем сами.
Всем спасибо за ответы.
На всякий случай посмотрим еще confluent/kafka и проч. на практике, иначе напишем сами.
Всем спасибо за ответы.
есть чат https://t.me/proKafka
Р
А почему в tabix нельзя зайти с read-only профилем?
b
Тип readonly поменять на 2 - тогда пустит
DC
Рустам
А почему в tabix нельзя зайти с read-only профилем?
есть два режима read-only, в 1м режиме нельзя поменять параметры сессии (запросы set ) , во 2м режиме можно.
авторы tabix решили менять параметры и делают set max_execution_time=5, set max_result_rows=1000.
авторы tabix решили менять параметры и делают set max_execution_time=5, set max_result_rows=1000.
Р
Спасибо, от всего сердца) помогло)
AK
Добрый день, подскажите как можно ускорить забор кликхаусом из кафки? Есть стандартная схема с таблице на движке kafka, MV и результирующей таблицей. Проблема что записи в результирующую таблицу поступают с задержкой минимум 2-5 минут, в пиках когда рейт записи в кафку повышается задержка может до 20 минут доходить. Пробовал увеличивать kafka_max_block_size, докидывать в топик партиций и поднимать количество консумеров, но особого эффекта это не дало. Такое ощущение что есть еще какое то фиксированное ограничение :( По мониторингу ресурсы на сервере есть, нельзя сказать что все упирается в память или ЦПУ. Куда еще можно покопать?
G
Партиций поднимать, как еще, их придумали для масштабирования. Можно хостов КХ накинуть
G
У вас две системы масшабируемые хорошо: КХ и Кафка
DC
Anton Kondakov
Добрый день, подскажите как можно ускорить забор кликхаусом из кафки? Есть стандартная схема с таблице на движке kafka, MV и результирующей таблицей. Проблема что записи в результирующую таблицу поступают с задержкой минимум 2-5 минут, в пиках когда рейт записи в кафку повышается задержка может до 20 минут доходить. Пробовал увеличивать kafka_max_block_size, докидывать в топик партиций и поднимать количество консумеров, но особого эффекта это не дало. Такое ощущение что есть еще какое то фиксированное ограничение :( По мониторингу ресурсы на сервере есть, нельзя сказать что все упирается в память или ЦПУ. Куда еще можно покопать?
для начала сказать
1. какая у вас версия КХ.
2. какой рейт в строках и в байтах.
3. какая летенси от КХ до брокера (время пинга)
1. какая у вас версия КХ.
2. какой рейт в строках и в байтах.
3. какая летенси от КХ до брокера (время пинга)
DC
и про kafka_max_block_size -- now it's kafka_poll_max_batch_size
kafka_poll_max_batch_size, 0, "Maximum amount of messages to be polled in a single Kafka poll.
kafka_max_block_size, 0, "Number of row collected by poll(s) for flushing data from Kafka.
kafka_poll_max_batch_size, 0, "Maximum amount of messages to be polled in a single Kafka poll.
kafka_max_block_size, 0, "Number of row collected by poll(s) for flushing data from Kafka.
AK
Версия CH version 19.16.3 revision 54427 Рейт в среднем 50K сообщений в секунду в пиках до 100 или примерно 700KBps машины в одной сети рядышком
DC
Anton Kondakov
Версия CH version 19.16.3 revision 54427 Рейт в среднем 50K сообщений в секунду в пиках до 100 или примерно 700KBps машины в одной сети рядышком
19.16 бессмысленно пытаться настроить, там фатальный недостаток.
в 19.15 кафку сломали , починили в 20.1 https://github.com/ClickHouse/ClickHouse/issues/7261
в 19.15 кафку сломали , починили в 20.1 https://github.com/ClickHouse/ClickHouse/issues/7261
D
Николай Чернов
Т.е. вы предлагаете массив развернуть в строки arrayJoin'ом, а потом уже runningDifference?
да, особено если массивы большие, иначе сожрете всю память...
но когда я писал, я не был в курсе про https://t.me/clickhouse_ru/183191
но когда я писал, я не был в курсе про https://t.me/clickhouse_ru/183191
AK
19.16 бессмысленно пытаться настроить, там фатальный недостаток.
в 19.15 кафку сломали , починили в 20.1 https://github.com/ClickHouse/ClickHouse/issues/7261
в 19.15 кафку сломали , починили в 20.1 https://github.com/ClickHouse/ClickHouse/issues/7261
А в чем там недостаток?
DC
Anton Kondakov
А в чем там недостаток?
в 19.15 кафку сломали , починили в 20.1 https://github.com/ClickHouse/ClickHouse/issues/7261
ну в 19.15 перфоманс упал в 10 раз.
ну в 19.15 перфоманс упал в 10 раз.
AK
То есть пробовать обновиться до 20.1, понятно спасибо
SC
а можно как-то считать сколько в интервале секунд кроме как
хочу пользоваться toStartOfInterval и считать среднее значение за интервал. сейчас просто хардкожу деление на нужный интервал.
toUInt32(toDateTime(0) + INTERVAL 1 HOUR)?хочу пользоваться toStartOfInterval и считать среднее значение за интервал. сейчас просто хардкожу деление на нужный интервал.
DC
Anton Kondakov
То есть пробовать обновиться до 20.1, понятно спасибо
не надо 20.1 берите хотя бы 20.3 последнюю