Вобщем bashoperator почему то не видит, что sub_process запущен успешно, может есть какие-то параметры, которы в таком случае могли бы помочь продвинуться к следующей задаче?

Сложно подсказать, задача нетривиальная. Мне кажется, можно попробовать сделать trap на SIGTERM, но тогда нужно, чтобы таска всё равно умирала из-за чего-то

Либо можно пойти по пути какого-нибудь ansible. Накатить vpn-подключение, выполнить логику, а потом его убрать

Но с этим тоже связаны свои трудности (помимо добавления в кучу ещё одной тулзы): если localexecutor, то это не проблемно, если кластер – нужен ssh с ключом и динамический инвентарь

Хм... да хочется чего-то в пару строчек 😌 . Перешел из крона в аирфлоу)

Просто airflow как-то не очень подходит для управления конфигурацией, если честно. Он про идемпотентный набор инструкций. Понятно, что сценарий вида "вкл-выкл" под это определение попадает, но я думаю, что даже история с pid-ами не игнорируется не со "злым умыслом", а чтобы была уверенность, что всё, что запускали, умрёт, когда это будет нужно (правильно)

Я сталкивался 1 раз - ооочень временное решение сделал очень отвратный ход - запустил последующие операторы в параллель и со слипом - пока тунель поднимается остальная часть ждет, а потом так как тунель уже есть все работает

Ну да получается такой подход остается, запускать последующий оператор с параметром trigger-_rule="all_done"

Всем чмоки в этом чате
Переключаюсь с Local на Celery Executor
Часть дагов работает нормально, часть не доходит до celery, висят c Task Instance State:
Task is in the 'queued' state which is not a valid state for execution. The task must be cleared in order to be run.

Даги не я разрабатываю, те что не работают на первый взгляд сложнее тех, которые работают🐥 На LocalExecutor'e работают все.
Кто-нибудь сталкивался с таким? подскажите на что внимание обращать, пожалуйста

Статус queued – таск в очереди, всё нормально. Надо смотреть логи шедулера, разбираться, есть ли воркеры, и общаются ли они с брокером

Простые даги отрабатывают без проблем, сложные вечно стоят в очереди, при том что больше ничего не выполняется

во Flower'е процесс видно, все что туда приходит выполняется успешно, но приходит не всё :(

Я кажется только что срастил, похоже у меня воркер по умолчанию только с default очередью работает, а у сложных дагов свои очереди хД

надо как-то указать очереди для воркеров, пойду гуглить

Сложные и простые по какому критерию?

Мб у воркеров окружение не то, что надо для дага?

потому что есть лимит на количество тасок с одного дага

-q <queue_name> при запуске воркера

и да, через запятую можно сразу пачку очередей

заработало с указанием очередей, циферки во Flower забегали, всем спасибо🐥