первый раз создаём файл, если файл есть - скипаем

А это не сильно костыль?

У меня сейчас так сделано) Штатных инструментов всё равно нет вроде бы

можно записать состояние в variables

Да, я тоже не нашел. Можно собственный оператор написать

Идея интересная, а каким образом можно из дага сделать пометку в Variables

Только для этого доступ в админ панель наверно нужен

из оператора, Variable.set(variable_id, json)

поправился

в жисоне уже параметры

Спасибо за идеи. Есть над чем поразмышлять !!!

Всем привет! Наблюдаю такую проблему в нашем Airflow: если запускается какая-то долго работающая таска, то появляется вот такая плашка о недоступности шедулера. Если таска работает часами, то и шедулер недоступен часами. Соответственно, другие таски не запускаются. Всё выглядит так, как будет у нас SequentalExecutor и SQLLite. Но у нас LocalExecutor и PostgreSQL. Кто-нибудь сталкивался с таким? В гугле все ответы сводятся к SequentialExecutor.

У вас даже при seq ошибки быть не должно.
Логи шедулера чего говорят?

Да в логах шедулера ошибок-то и нет. Информационные сообщения о ходе выполнения только.

может я не там смотрю?

👍

У нас постоянно такая фигня была на сиквентале и мускуле

Сейчас на селери перешли, вроде не стало

вы сделали кластер? селери, рэббит, вот это вот всё? или таки осталась одна нода?

Я в докер компоузе сделал 3 воркера для селери, flower и раббит, да