если это возможно сделать, то крутяк)

Можно ещё в даге проверку, триггернутый он или по расписанию)

А это как?

там у запуска имя разное, триггернутые с trig__ начинаются, расписание с scheduled__

возможно ещё где-то есть поле с типом запуска)

где-то в объекте даграна

Ребята, у меня даги в один момент с ума сошли, начали запускаться каждую минуту при кроне раз в сутки

Это с чем может быть связано?

вот так это выглядело

Всем привет. Не могу сообразить - если у меня есть пайплайн скажем на 10 задач в даге и на второй задаче есть проверочное условие, после которого если True то надо выполнить остальные 8 задач, а если False то как то прекратить дальнейшую обработку и отправить уведомление. Какой бест практикс так сказать в таких случаях? Делать бранчи с передачей условия через XCom или вызывать во втором узле raise NameError и т.п.? Например мне надо если во втором узле False отправить уведомление и завершить DAG до следующего расписания. Подскажите плиз. Или концепция в данном случае такая, что DAG должен обязательно весь выполниться либо упасть с ошибкой?

BranchPythonOperator ?)

А, ну то есть какой то сложной концепции по сути нет, просто промежуточный BranchPythonOperator и разные ветки. Я то просто все усложнил у себя в голове, ациклический граф, все дела)))

Можно, конечно, придумать сложно, но зачем?)

Понял, спасибо)

ShortCircuitOperator

+ к ShortCircuit, под то что описано лучше подходит

Статейка на медиуме с понятным, хоть и странноватым примером:
https://medium.com/@loraxman/how-and-why-of-airflow-shortciruitoperator-85dcbeddb1ba

Спасибо! А кто нибудь использует вот эту библиотеку при описании дагов? В качестве визуализации для менеджеров может? Просто я смотрю синтаксис похож и может уже есть какая то практика интеграции одного в другое. https://diagrams.mingrammer.com/docs/getting-started/examples

как лучше реализовать такую задачу:
Трекаю наличие файла с интервалом примерно 2 час.
Если файл есть то даг выполняется если нет то скипается.
Но если сегодня задача уже запустилась то мне не нужно дальше мониторить наличие этого файла

По идее тут надо сенсор навесить и у него интервал увеличить до  1-2 час. Но тут вопрос. Не будет ли он больше ресурсов жрать т.к. он постоянно работает или он также засыпает на время

А надо было просто доку посмотреть. Как обычно.  mode: reschedule по идее то что надо