Есть апи с ограничением количества вызовов в 15 минут,
Мне надо процесить задачи,
Одна задача - 1+ запросов к апи
Когда инфу достали - сформировать по ней страницы
Обновить главную

сейчас задача звучит как-то сомнительно

Угу, хочу загрузил кусок - выдал команду на сформировать страницу, она даёт команду на обновить список

ну вот мой докер композ файл, но он же ток для дева подойдет

и докерфайл один

вот, допустим, на моем кейсе, задача: процессить листинги [обьектов] с разных источников, делать над ними вычисления и ложить причёсанными куда надо(и т. д. )

Как можно жить с одним докер файлом? В проде нужен Gunicorn/uwsgi в dev нет

Да, почти такое

так а как? типа два файла докер композа? один прод, один дев?

чем не подошёл атомарный подход обработки одного обьекта? рассказываю. Мы ищем похожие обьекты, группируем, выстраиваем структуру из похожих объектов, и ещё определенные сервисы с лимитами. отслеживать ошибки на атомарных обьектах очень больно, особенно если обьем растет. Ну и также проблема с падением обьекта на какойто задаче в пайплайне. Менеджить такие падения или перезапускать с нуля по всему пайплайну объект - дорого для бизнеса (используем платные апи еще)

Считай продал

Я тебе могу сказать и о проблемах аирфлоу

На DO за 5$ войдёт?

лол

Давай, я пока протолкну распишу

мы используем гугл платформу, 3 гиговые тачки для воркера, и по 512 на шедулер и вебморду

Моё имхо:
Композов по количеству окружений, prod stage qa dev, разница только в используемых докер образах и параметрах запуска, можно поиграть в наследование чтобы дублей не было
Dockerfile 2 для разработки и деплоя

а ещё надр брокер держать, а ещё удаленные логи, плюс сентри, плюс мониторинг(у нас стекдрайвер и дататог), и всё равно получаем по jffkfyjj

ну ты понял

Не подал