всем привет.  Народ поясните пожалуйста теоретический вопрос.
На локальном компе есть пара пайтон скриптов , которые надо запускать последовательно раз в сутки.
Для этого надо установить airflow на локальный комп и создать в нем таски на запуск этих скриптов по расписанию?

А допустим есть удаленный сервер на котором крутится AirFlow . Как-то можно настроить в этом серверном AirFlow задачи на исполнение пайтон скриптов , которые лежат не на этом же сервере , а на моем локальном компьютере? Или я глупость написал?

Можно, для этого нужно либо использовать CeleryExecutor (RabbitMQ и Sheduler на сервере, Worker и скрипты на ноде), либо SSHOperator (Scheduler и Worker на сервере, скрипты на ноде)

Если нод от силы пара штук, то проще конечно второй вариант, если больше и нужно распределять задачи по ним, то первый

нод - это локальный комп?

Обычно так называют машины в кластере, только не нод, а нодА (node, узел), проф деформация. Если так будет проще, то да, комп

@dolfinus
а  где почитать как этот вариант реализовать
CeleryExecutor (RabbitMQ и Sheduler на сервере, Worker и скрипты на ноде)?

или может курс какой посоветуете для начинающих?

Можешь начать с awesome airflow репы на гитхабе, там много материалов

Подскажите, плиз, почему даг не планируется до тех пор пока предыдущее выполнение не станет success

что значит "планируется"?

висит в статусе no_status

А экзекьютор не сиквентал случайно?

ну так если зависимость между тасками, логично, пока одна не отработает, другая не будет...

он

Он не умеет в одновременное, делает одну таску за раз

да один запуск уже завершился, но в статусе фэил, я запускаю второй раз, он просто не стртует, отмечаю предыдущее выполнение success  он начинает бежать

Depend on past?

False

просто ладно зависимость между таксами внутри одного заупска, но как связаны 2 независимых запуска

два независимых связаны экзекьютером