это указывается параметрах?

У меня сейчас так

sensor = SqlSensor(
              conn_id='TEST'
              ,task_id = 'sensor_eid'
              ,dag=dag
              ,sql="""select false
                      """
              ,retries = 40
              ,retry_delay = dt.timedelta(minutes=30)
              )

должно быть так?

sensor = SqlSensor(
              conn_id='TEST'
              ,task_id = 'sensor_eid'
              ,dag=dag
              ,sql="""select false
                      """
              ,retries = 40
              ,retry_delay = dt.timedelta(minutes=30)
              ,mode = 'reschedule'
              )

yup

@feodorman Спасибо, все сработало

Подскажите каким будет правильный подход в следующей ситуации:
Мне нужно достать из базы определенный набор отфильтрованных записей и на основе их запустить по таску на каждую запись. За основу брал пример example_bash_operator - в нем таски генерятся прямо в коде ДАГа. Вопрос следующий: запрос к базе тоже делать прямо в коде дага в "чистом поле"? Или всё-таки нужно  какой-то предварительный таск-оператор (PostgresOperator) сделать, а потом как-то от него передавать данные?

1. файл Дага постоянно импортируется scheduler . Если там будет какой-то код вне функций особенно обращение к бд - это будет флуд
2. Почему просто не сделать все в одной таске ?

В одной таске это всё делать нет смысла, т.к. есть необходимость эти таски запускать параллельно, но с ограничением на количество параллельно работающих тасков (в данный момент использую для этого пул). По этой причине собственно и стал смотреть в сторону airflow, а не просто обычного скрипта на питоне.

А какие еще есть способы нагенерировать таски динамически? Чтобы по феншую, так скзать.

Те, кто перешел на 2.0, подскажите, а у TaskGroups есть возможность перезапустить даг с определенной группы, если все упало, или оно просто для красоты в tree view?

Добро пожаловать в самое дружелюбное комьюнити.

Unlike SubDagOperator, TaskGroup is a UI grouping concept.

Да, я видела. Искала в концептах на гифке какую-нибудь кнопку запуска группы

Всем привет! Доводилось ли кому нибудь с сервера airflow с помощью таски передавать файлы на другой сервер? Не работает scp, ключ открытый на другой сервак закинул вроде, но самого доступа прямого на сервер airflow нет, через воркэраунд ключ смог вытащить и создать новый файл на другом сервак руками. Может кто имел опыт и может направить на путь истинный?) bash оператор падает, мол authorised connection faild

Коллеги, подскажите плиз, если запустить backfill ДАГа при указании в рамках ДАГа max_active_runs=1, то он не должен ведь параллельно запускать все date по DAG (параллельно даг не запускается)

Какие есть подводные камни использования TriggerDagRunOperator?

Если нужно по каким-то причинам выключить дочерний оператор, то это не тривиальная задача. Если просто его выключить в UI, а потом включить, то все те разы, что его дергали, пока он спал, начнут выполняться. Даже если у него catchup=False...

А вообще существует практика построения workflow, как несколько идущих подряд TriggerDagRunOperator, которые ждут выполнения предыдущего?

Триггеры же для внешних дагов?

Триггер и сенсор, у меня они в паре идут

Ну да, управляющий даг, который дёргает другие

Можно дергать другие даги и ждать, но я ни разу не пробовал так