Size: a a a

Сбор и аналитика системных сообщений

2020 November 14

MK

Max Krylov in Сбор и аналитика системных сообщений
Не в теме. Посмотрю, спасибо)
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
как и любой софт нужно уметь его настраивать
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
а ну  и это
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
господа
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
кафка это уже прошлое
источник

MK

Max Krylov in Сбор и аналитика системных сообщений
Я почти год собирал грабли с кроликом, которых у кафки нет по определению. Кролик это последнее, что я стану сетапить в прод)
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Max Krylov
Если у тебя 100 сообщений в минуту, то можно тупо писать в файл))
В редис, ага
источник

GG

George Gaál in Сбор и аналитика системных сообщений
+
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Главное, что натс, а не nuts
источник

MK

Max Krylov in Сбор и аналитика системных сообщений
Точно, редиска же) успел про нее забыть)
источник

MK

Max Krylov in Сбор и аналитика системных сообщений
Автор вроде отказался ее дальше развивать? Или мне приснилось?
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
источник

A

Alexander in Сбор и аналитика системных сообщений
Max Krylov
Я почти год собирал грабли с кроликом, которых у кафки нет по определению. Кролик это последнее, что я стану сетапить в прод)
Что за грабли?
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Alexander
Что за грабли?
подозреваю что реордеринг в результате ретрая
источник

MK

Max Krylov in Сбор и аналитика системных сообщений
Alexander
Что за грабли?
Самое дикое для меня оказалось в том, что при исчерпании лимита на объем хранения сообщений в раме, если их не вычитывают, кролик начинает писать на диск (это виртуалка в облаке селектел и диск средний, не медленный), и даже если потом появляется потреьитель и пытается читать - кролик пытается одновременно читать старые с диска, писать туда текущие т.к лимит и читать гораздо медленнее чем пишет. Я специально дебажил, когда столкнулся с этим в очередной раз. В итоге, если пошла запись на диск, можно дропать, вычитать уже нереально. А новые пишутся, потому что их не вычитать, есть же старые.
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Max Krylov
Самое дикое для меня оказалось в том, что при исчерпании лимита на объем хранения сообщений в раме, если их не вычитывают, кролик начинает писать на диск (это виртуалка в облаке селектел и диск средний, не медленный), и даже если потом появляется потреьитель и пытается читать - кролик пытается одновременно читать старые с диска, писать туда текущие т.к лимит и читать гораздо медленнее чем пишет. Я специально дебажил, когда столкнулся с этим в очередной раз. В итоге, если пошла запись на диск, можно дропать, вычитать уже нереально. А новые пишутся, потому что их не вычитать, есть же старые.
а какое поведение должно было быть ?
источник

MK

Max Krylov in Сбор и аналитика системных сообщений
Как минимум - работающий функционал. Речь даже не про fifo как таковое, а про то, что старые данные нереально достать.
источник

i

inqfen in Сбор и аналитика системных сообщений
Terry Filch
кафка это уже прошлое
сейчас хрыча на тебя позову
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
inqfen
сейчас хрыча на тебя позову
и что? ну пойдет он в RO после начала флейма...🤷‍♂️
источник