Коллеги, доброй ночи.
Кто хорошо знаком airflow, нужна помощь в решении одной не тревиальной задачи. Я не совсем понимаю как правильно сделать таск в одном даге зависимым от таска в другом, при этом таск в дочернем должен ждать выполнения в родительском определённое время и если родительский даг зафейлен падать в ошибку. Если есть мысли пишите в лс)

Хватит http://airflow.apache.org/docs/apache-airflow/1.10.3/_api/airflow/sensors/external_task_sensor/index.html ?

Да проблема в том что они должны работать в разное время и с разным интервалом, в обычных условиях все то норм

Там можно любое время задаваиь и вычислять нужное

У меня дейли даг так мониторит месячные даги

я все таки разобрался, но возник вопрос почему последняя дата выполнения раньше текущей на час, ну или на пол часа.  в зависимости от шедулера. как добиться того, чтобы если  сейчас например 18.00, то выполнение задачи было именно в 18.00. Скриншот не могу выложить


with DAG(
   dag_id='etl_child',
   start_date=datetime(2021, 3, 3, 8, 0, 0),
   schedule_interval='0 8-17 * * *',
   tags = ['testing_child_dag']
) as etl_child:


и получается что текущее время: 16.26, а задача выполнялась в 15.00 по расписанию, но с задержкой. Соответственно когда будет 17.00 задача выполнится 16.00. почему так не пойму

Добро пожаловать в самое дружелюбное комьюнити.

Кто то в курсе как в airflow 2.0.1 отменить ssl connection в mysql

?

useSSL=false в строке соединения

С международным женским днём дорогие девушки!

Как создать даг без расписания? Допустим мне нужно его запускать вручную.

'schedule_interval':None

А что делать с start_date, она вроде обязательна

любая

А вот в таком даге задачи runme_0,1,2 будут запущены параллельно или последовательно?

От экзекьютора зависит)