ИМ
ну кроме того что вновь добавленный консюмер, как я понял, обработает вс сообщения топика (или партиции?) и с этим ничего не поделать
Size: a a a
2020 October 15
A
#fomo
IV
ну кроме того что вновь добавленный консюмер, как я понял, обработает вс сообщения топика (или партиции?) и с этим ничего не поделать
Упрощая - консьюмер это приложение которое решает конкретную задачу для своего домена. Например, fraud detection. Consumer Group это несколько инстансов этого приложения. Каждый из них получает сообщение для последующей обработки. Без consumer group каждый новый инстанс fraud detection получит все сообщения топика, даже те которые были уже обработаны.
ИМ
ммм! тоесть указатель на последнее прочитанное сообщение хранит не консюмер а группа?
IV
грубо говоря да
IV
сам консьюмер ничего не хранит, в кафке есть специальный топик __consumer_offsets
GL
ну, упрощение конечно
IV
попросили же простым языком 😉
GL
можно и без группы читать)
GL
собственно в кафке всё в любом случае перекладывается на читающего, брокеры нифига не делают
GL
vs amqp/rabbitmq/etc
GL
Кто-нить может простым языком объяснить что такое партиции, откуда они берутся и нужно ли мне вообще о них думать?
партишены это так называются шарды(как в mongodb например), нужны для горизонтального масштабирования
GL
важный момент в том, что ордеринг(порядок сообщений) гарантируется только внутри одного партишена
ИМ
собственно в кафке всё в любом случае перекладывается на читающего, брокеры нифига не делают
вот да с этого больше всего афигел
GL
но если у тебя мало сообщений (то тебе не нужна кафка), то можно один партишен иметь
IV
почему? это же append only
GL
почему? это же append only
у тебя кол-во консюмеров = кол-во партиций в любом случае
GL
соответственно если ты делаешь 32 партиции, у тебя будет 32 консюмера
ИМ
у тебя кол-во консюмеров = кол-во партиций в любом случае
а я так понял консюмеров может быть больше
IV
у тебя кол-во консюмеров = кол-во партиций в любом случае
вопрос был к Илье к тому что он прифигел про брокеров