ИИ
Чтобы в кликхаус большой пачкой заливать
kafka_max_block_size - The maximum batch size (in messages) for poll (default: max_block_size).
Size: a a a
2020 August 14
ML
Это выглядит как лимит сверху. Если ничего принципиально не поменялось, то в кх плохо лить построчно
ML
на стороне продьюсеров свое накопление при записи в кафку идет
Это то нахрена?!
С
Это то нахрена?!
бай дизайн в любой библиотеке
ИИ
Это выглядит как лимит сверху. Если ничего принципиально не поменялось, то в кх плохо лить построчно
в этом смысле нет - лить надо большами чанками. но там много костылей. можно лить не напрямую в таблицу, а в буферизующую таблицу. и с кафкой там тоже для этого есть оптимизации
ML
бай дизайн в любой библиотеке
Это типа кафкино пожелание?
V
А мне вот такой подход по кликхаусу понравился с cli клиентом. правда, не пробовал: https://nastachku.ru/var/files/1/presentation/backend/2_Backend_6.pdf
ИИ
Это выглядит как лимит сверху. Если ничего принципиально не поменялось, то в кх плохо лить построчно
Для улучшения производительности полученные сообщения группируются в блоки размера max_insert_block_size. Если блок не удалось сформировать за stream_flush_interval_ms миллисекунд, то данные будут сброшены в таблицу независимо от полноты блока.ММ
Это то нахрена?!
как везде - запись пакетами, а не по одному сообщению.
С
Это типа кафкино пожелание?
не знаком деталями реализации протокола общения с кафкой, детали можно у них в доке почитать, но везде обозначено что гораздо эффективнее в одном запросе передавать больше данных
С
https://blog.cloudflare.com/http-analytics-for-6m-requests-per-second-using-clickhouse/
немного устаревшая статься об опыте cloudflare с таким подходом, если кому-то реально интересно
немного устаревшая статься об опыте cloudflare с таким подходом, если кому-то реально интересно
AK
кафка это еще одна нехилая сущность в проекте. Должна быть киллер фича чтобы ее оправдать
AK
а в записи в кликхаус нет никакой килер фичи
2020 August 15
ML
кафка это еще одна нехилая сущность в проекте. Должна быть киллер фича чтобы ее оправдать
Вот и я не очень понял про «кафка очень хороша для кликхауса».
Я не видел, там прям прямой стык? Не нужно никакого промежуточного демона?
Я не видел, там прям прямой стык? Не нужно никакого промежуточного демона?
MK
Кажется можно читать кликхаусом из кафка
AP
Там прямой стык, да
AP
Удобнее чем например в вертике
ML
Теперь понял. Да, действительно прикольно, если кафка итак везде.
Она чем-то принципиально от кролика отличается?
Она чем-то принципиально от кролика отличается?
AP
Да, моделью работы, в первую очередь, это по сути лог который ты можешь читать из любой позиции несколько раз