Ну вот у каждого есть настроенная инфрастуктура. И она не всегда оптимальна. Потому что все нюансы никто не знает. Я вот с удовольствием на конференции хожу. Всегда можно чему то научиться.

Главный вопрос для меня на сегодняшний день, каким образом доставлять ДАГи на сервак. Сейчас передается в Докер образ, и образ раскатывается. Но не факт, что так правильно делать, может у кого-то по другому сделано.

В двух словах, пока не у компа - отдельный докер контейнер alpine/git который делает по интервалу git pull грубо говоря

В нужную директорию

Которая также примаплена ко всем компонентам как даг фолдер

Ну или volume просто, в который ci/cd процесс забрасывает даги

Ну или так, но, тоже, который параллельно является хранилищем дагов локальным

Прям в контейнер - это если у вас редко меняются даги

Прям как в доке по айрфлоу, только в докере. Вот и tl;dr выступления😊

Ну и там одна переменная окружения, в которую задаётся интервал отрисовки нового дага в UI :)

А так да)

Коллеги,друзья и сотоварищи по airflow

Кто не стесняется выступать и готов рассказать про свои рабочие кейсы/боли/страдания отличные от мануала airflow?

Напишите мне в личку,ищу спикеров)

У меня есть необходимость обрабатывать дагом файлы в директории, хочу что бы кол - во сабдагов генерилось автоматически и каждому доставался свой файл. У кого нибудь есть такой опыт ?

churn_weekly_task = []
   for start, end, periods in zip(w_start_date, w_end_date, w_periods):
       churn_weekly_task.append(PythonOperator(
           task_id='churn_weekly_' + str(periods),
           python_callable=churn_weekly,
           op_kwargs={'start_date': start,
                      'end_date': end,
                      'check_query_d': check_query_d_w
                      },
           dag=dag,
       )
       )

ну тут не совсем файлы, но вот тут список а в него можно и файлы положить

Да, это отлично подойдет. Спасибо тебе добрый человек

Churn... я 2 года убил на проект churn

ну у нас на это сатанист есть)))
он родил я обернул профит)