Какой вопрос, такой ответ) что автоматизировать то?)

Поделитесь пожалуйста опытом. Есть Rails приложение в которое данные сохраняются различными скриптами через API. Колличество таких клиентов увеличивается и не очень удобно писать для каждого похожую логику для управления этими данными. Хочу избавить скрипты от рутины и внедрить какой-нибудь брокер с которого бы можно было одним скриптом забирать данные для обработки. Я слышал, что для подобных задач существуют RabbitMQ, Kafka, Redis. Что в моем случае больше подойдет? Что проще? Проект небольшой

бери редис, он самый простой

Больше контекста можешь дать, что делать конкретно нужно? Что за логика?

Что за данные, какой объём?

всякие секьюрити проверки. Например один скрипт работает с AD, другой это ids, всякие сканеры - все они приводят алерты к общему виду и сохраняют/обновляют их в базе. А я хочу чтобы они только занимались только проверками а не менеджментом алертов. Хочется всю эту кухню сделать проще. В общем задача - тупо засылать куда то json, и оттуда выгрибать а дальше дедупликация данных и прочая работа с базой только одним этим консьюмером. Обьем данных как видишь небольшой.

А сайдкик имеется?

нет

Ну может в сторону сайдкика посмотреть?

Только на редисе персистентность нормально настроить нужно

Если данных действительно немного и требуется гарантия, то можно даже в сторону AOF посмотреть

А насколько Редис требовательный к ресурсам?

Какого вида данные, какая нагрузка и данные должны 100% дойти или могут потеряться? А так же, нужен ордеринг или нет?

И что у тебя по ресурсам есть для этой задачи

Люди, деньги и время

нагрузка слабая, да 100% нужна гарантия

сейчас это приложение крутится в кубере и ест всего 4-6 гигов. интересно, насколько больше потребуется если прикручивать редис

я на самом деле пока не очень понимаю как всё это должно работать. буду очень благодарен если ссылок покидаете подходящих для моей задачи

Зависит от объема данных, которые там хранятся