ИМ
поэтому пофиг на оффсет можно просто все прогнать до необработанного
Size: a a a
2021 March 17
ИМ
я просто удивляюсь что это нужно делать =)
IV
это не задача консьюмера следить за тем сбились ли офсеты, его задача обработать евенты и единственный способ гарантировать уникальность евента это добавить свой уникальный id
ИМ
я вот до этого думал что это задача кафки вообще
ИМ
окей, а где хранишь? прям в базе или в редисе в какомнить?
IV
я вот до этого думал что это задача кафки вообще
мы про разные вещи говорим
может возникнуть ситуация когда из-за бага в софте или неполадок в сети в кафке будут копии сообщений, условно пользователь 5 раз нажал на кнопку «complete order». в кафке будут 5 абсолютно одинаковых евентов с разными kafka id, но с точки зрения твоего приложения это один логический евент. кафка ничего не знает про твое приложение и это твоя задача делать dedup если он необходим
может возникнуть ситуация когда из-за бага в софте или неполадок в сети в кафке будут копии сообщений, условно пользователь 5 раз нажал на кнопку «complete order». в кафке будут 5 абсолютно одинаковых евентов с разными kafka id, но с точки зрения твоего приложения это один логический евент. кафка ничего не знает про твое приложение и это твоя задача делать dedup если он необходим
ИМ
да, но заодно это решит проблему со сбросом оффсета >_<
IV
да это решит проблему что делать если такое сообщение уже было и не важно пришло оно из кафки или из другого источника
ИМ
воть. где хранишь?)
MS
к вопросу "ебать, это тоже продавать можно?"
MS
IV
воть. где хранишь?)
без разницы, база, kv, s3. в данном контексте этот вопрос не должен возникать. подойдет любое хранилище которое сможет быстро ответить встречался ли этот ID
ИМ
ну ок, key-value у нас есть какойто точно, спс)
AR
да ну йопт
AR
к вопросу "ебать, это тоже продавать можно?"
вот сегодня показали - один индус и YC. особенно эффектно на фоне покупки 0auth
https://supertokens.io/pricing
https://supertokens.io/pricing
SG
Почему бы и нет :)
SS
к вопросу "ебать, это тоже продавать можно?"
сделай и продай подписку на мета-сервис, который будет постить "ебать, это тоже продавать можно?"
SC
слушайте а вот как такие лендосы фигачат люди?
SC
Ведь явно те кто делали штуку для токенов не парились с дизайнерами