U
океей..
Size: a a a
2021 April 13
C
и это он еще про наше чсв говорит =(
D
Report on spam message was send to admins. Please be patient.
2021 April 14
А
Приветствую, может кто-то подсказать решение проблемки с Kafka?
точнее даже не с ней а с обработкой (консюмером)
во время обработки сообщения может случится так что созависимый сервис сейчас недоступен, и нужно отложить это сообщение, (консюмеров может быть несколько и соотвественно сообщение может уйти другому консюмеру который так же попробует его обработать)
точнее даже не с ней а с обработкой (консюмером)
во время обработки сообщения может случится так что созависимый сервис сейчас недоступен, и нужно отложить это сообщение, (консюмеров может быть несколько и соотвественно сообщение может уйти другому консюмеру который так же попробует его обработать)
А
вопрос. как после получения сообщения дать понять кафке что ты его не обработал, и чтобы она вернула его в доступные к получению месседжи?
обработка происходит через группу консюмеров.
обработка происходит через группу консюмеров.
АБ
Кафка умная, она хранит не прочтённые сообщения. Да и офсет можно назад вернуть, при необходимости
АБ
А что за кейс такой странный?
Могу предположить, что нужно настроить приложение. В Кафке это навряд ли получится
Могу предположить, что нужно настроить приложение. В Кафке это навряд ли получится
АБ
Подели топик на партиции и пусть каждое приложение в свою партицию смотрит
АБ
Если приложение недоступно, сообщения останутся лежать и прочитаются после того как воскреснет аплик
VC
коммитить вручную только после полной обработки вроде как
А
я так сделал, но он все равно считает это сообщение проверенным и дальше к нему не возвращается
VC
а может другой консьюмер закоммитить более позднее сообщение? там же не у каждого сообщения флаг. а офсет комитится
VC
если один консюмер закоммитил оффсет 5 значит 1-5 сообщения обработаны
А
Да в том то и дело)
А
а может быть так что консюмеров условно 5 сообщений 10, и на 3-м сообщении мы получаем косяк
А
по идее если на 3-м есть то и у всех остальных тоже косяки
А
от 3 до 8, после того как косяк решается, они отказываются проходить по этим же сообщениям
АБ
Не вариант
А
и начинают с 9
А
пока то что я понял, либо в моменты где мне нельзя идти дальше и поломаются все консюмеры просто консюмер "замирает" и постоянно пытается выполнить запрос который не удается... а после успешного продожает