Его где то еще нужно запустить?

В плане не только в аргументах дага?

У вас должен быть запущен и вебсервер, и отдельный щедулер в каком-нибудь терминале

airflow scheduler

Понял спс

Добрый вечер! Разбираюсь с Airflow, помогите пожалуйста с такой задачкой: хочу настроить выполнение некоего пайплайна задач на удаленном сервере. Сейчас реализованно на cron+bash, хочу заменить на Airflow.

Подскажите пожалуйста, как лучше настроить Airflow:
1) установить непосредственно на сервере и все dag хранить там
2) поднять отдельный сервер исключительно под Airflow и запускать dag через ssh на удаленном сервере
3) как-то вообще по-другому

Спасибо за помощь!

мы делали в докере

а папка с дагами примонированна

а докер крутится на том же сервере, где и выполняются задачи? или где-то отдельно? или это уже не очень важно?

По факту все зависит от того, сколько тебе надо крутить задачек и как часто

Там же 3 компонента

Воркер, шедулер и UI

Пока все очень тестово чтобы научиться
В перспективе - перевозить все процессы на airflow

Поэтому я и хочу узнать про best practices, как лучше устроить

У нас в докер контейнерах всё крутится, но локально ничего не вызывается, таски дёргают внешние системы

Тут в чате примеры были от systemd в vm до k8s, работает везде, опирайтесь просто на вашу инфраструктуру.
Нам удобно в докере, потому что есть куб.

Спасибо большое всем за опыт, буду изучать!

Вместо cron+bash (особено для тестов) можно и просто отдельный virtualenv  сделать и запускать через localexecutor. Если на будущее развивать - куча вариантов, выбор которых в первую очередь зависящих от нагрузки, как и писали выше.

Если есть желание и знакомы с докером - могу компоуз файл чуть позже сбросить, там celery используется. Вроде рабочий и отшлифованный)

Вот пока кажется что базовый вариант для научиться-отладиться именно такой, с последующим масштабированием

буду благодарен! скорее на будущее, но, думаю, в ближайшее время пригодится