Ну и сильно лучше сделана кластеризация

Да

Те это один большой лог? А как там с фильтрацией по получателям?

Смотри, если паблишер, Кафка заточена на запись пачками, есть топики, которые порезаны на партиции, партиции распределены между серверами в кластере, и они же реплицируются. Консьюмеры читают из топиков, позиция чтения - offset, ты можешь сдвинуть offset сам на шаг назад и заново вычитать те же данные

Разные консьюмеры могут читать один топик независимо

Те распределение по получателям находится в самом начале и сообщение сначала распределяется в топик?

А как организовать раздачу заданий? Не более одного в одни руки

СРОЧНО.Кто вчера не успел подписаться?
Открыли доступ еще на 30 минут❗️❗️
https://t.me/joinchat/AAAAAE6C-hscsdASqLj_-Q

в рамках одной группы консумеров  на партицию топика назначается единственный обработчик

В Кафке топики это просто место куда ты пишешь, там нет роутинга как в кролике. Получатели сами подписываются на топик из которого хотят читать, а паблишеры туда пишут, это реально как чтение одного логфайла из разных программ одновременно.

У каждого консьюмера свой offset с которого он читает. Но! Консьюмеров можно объединить в консьюмер группу, тогда offset будет общий на консьюмер группу, тогда получится что чтение данных идёт из топика «не более одного в одни руки»

да практически всем :) фактически кафка держит распределенный лог сообщений сколько позволит квота на диске (новые сообщения в начале  выпихивают старые с конца), и каждый консьюмер имеет свой указатель для чтения. то есть в отличие от кроля ты можешь перечитать всю очередь сообщений много раз. плюс консьюмеры можно объединять в группы, и тогда, к примеру, четные айдишники быдет вычитывать всегда первый консьюмер, а не четные - второй. в общем профиль использования несколько отличается от кроля

Всем привет. 👋 Вопрос по Port и ffmpeg. Может, у кого-то есть опыт со всем этим сразу. 🙂

Хочу стримить через Port видеопоток в ffmpeg (с целью получения превью по первым кадрам, чтобы весь видеопоток не качать) и получать результат в stdout (через тот же порт). Можно ли сделать так, чтобы ffmpeg не ждал eof на stdin и начал отдавать на stdout, как только поступит достаточный для выдачи результата материал на stdin? У меня пока ffmpeg начинает работу только по eof (через :close), но при этом в момент закрытия порта на stdout пусто, и никакого data message не приходит. Посоветуйте, что делать, куда копать? Спасибо!

ffmpeg  совершенно точно не ждет никакого eof

почему бы тебе просто не сделать с его помощью превью?

А зачем заново вычитывать?

типа если упал на обработке запроса, то потом как то еще раз его обработать

Если упал на обработке запроса не всегда хорошо его обрабатывать второй раз, особенно если у тебя там обращение к 3м апишкам идёт

Да, лучше иногда честно сказать что "сервис не справился, попробуйте ещё раз". Такое даже в linux есть...

Это возможность. Как её не/использовать вопрос конкретной задачи.