это вообще плевок в океане

2 - это средняя

может там спайки, хз

редис прекрасно справится с этим и ростом на 3 порядка

а задача процессинга на кафке через стримс решается вообще по красоте

зависит от доп требований, отказоустойчивости и прочего

да, а еще на неё нужен отдельный инженер чтобы она не падала блэд

ну, мы же в айти - надо плодить рабочие места для айти )

+
kafka нужно при большом потоке
у нас не так, проблема больше именно в планировании задач

конечно да, вопрос в требованиях

А, да, точняк, статью же вчера буквально читал

возьмите редис + селери

которую  ?

с этим вариантом солидарен, для старта - то что нужно

А я бы взял кролика 🤔

очень познавательно

я your bunny 😊

https://blog.panoply.io/top-9-python-etl-tools-and-when-to-use-them

Есть подозрение, что тут можно найти то, что вам пригодится

почти все эти статьи читал, да
но пока не нашел инструмента с возможностью из коробки планировать ~5-10 млн. задач

есть идея только такая: хранить задачи в postgresql (paritition + sharding при необходимости)
rabitmq / kafka - для доставки задач на выполнение

И поверх всего этого, придется сделать самим управление задачами:
- отменить задачу (еще не ушла на выполнение, в очереди ожидает выполнение, уже у воркера на выполнении)
- обновить задачу (пришла более актуальная информацию, все тоже самое что и для отмены)

т.е. проблема больше не в нагрузке, задач не так много в ед. времени
а в удобном управлении выполнением, т.к. одна задача затрагивает много сервисов, иногда платных
и хочется гибко управлять выполнением (не делать лишние вызовы)

наткнулся как-то на http://activemq.apache.org/
но еще не успел посмотреть, это вроде чуть больше навороченный rabbitmq