Машина 4 ядра, 8 оперативки, 20 дагов, 350 тасков

Планируем довести таски до 800 шт

Ну и главное, что все что они делают - это посылают рест запросы на запуск задач в другом софте

разворачивается докер компоузом в 1 команду)

Это я знаю)

Привет
в GCP развернут gitlab, где девелопим DAGи и инстанс с airflow. Поделитесь опытом/статьей как вы доставляется DAGи из gitlab в airflow?
Прошу прощения, если похожий вопрос уже был.

В гитлабе есть дока как синхронизировать гугл мирор репозиторий. А потом уже можете использовать клауд билд для доставки дагов и прочих файлов в сторадж

Скажите, а как можно управлять потребляемыми ресурсами докер имэджей? Например под бд я хочу выделить столько то цпу, рам, для воркера что-то другое и ТД?

docker-compose файл есть

В доке описано

Спасибо

День добрый! Подскажите, как лучше организовать хранение проектов.
Все хранится в одном репозитории и он разворачивается в папку /dags?
Или все хранится в разных местах, а в dag файлах происходят импорты?
Может статьи есть на эту тему или best practices?

https://cloud.google.com/composer/docs/how-to/using/writing-dags#guidelines

вот что гугл предалагает

Спасибо!

Спасибо!

Всем здрасьте, снова )))
Подскажите по FileSensor'у...
Вроде разобрался как им пользоваться, что нужно передать соединение, в нём указать "path" : "полный путь к папке" ....
и еще передать filepath = 'тут имя файла'.

Собственно 2 вопроса - я хочу мониторить нон стопом в течении дня появление файла.
Если делаю шедулер интервал каждую минуту - то он каждый раз запускает новый таск инстанс ... и по итогу может накопится штук 200 тасков, которые будут в статусе runing ...

вопрос два - а есть вариант мониторить например наличие 20ти файлов, но не создавать при этом 20 сенсоров (они ведь все кушают очередь пула и ресурсы на сервере) ... а то мне нужно будет делать 20 * 17 сенсоров только для этого дела

Или же, не передавать имена файлов, но как мне считать количество файлов в папке при таком сенсоре? он должен быть выполнен когда будет 20 файлов только

PythonSensor вам в помосчь