т.е. каждый шаг делаю в виде spark-оператора и уже на спарке параллелбно обробатываю

Или всё в спарке, а спарк запускать из аирфлоу

Добрый день , не запускаются даги , даже когда триггеришь их ,с чем может быть связано?

Их нет / они с ошибками / не работает шедулер / не работает воркер

он один раз создался, полностью отработал , по шедуле он должен запуститься теперь только на след день , но , даже если его триггерить , он все равно не будет выполнять код. Просто ничего не происходит

depends_on_past?

В логах шедулера есть UniqueConstraintViolation (может чуть иначе называется)?

Не зависит

Логи все абсолютно пустые

А даг ран создаётся?

В Browse -> DAG Runs админки

Под даг ран что ты имеешь в виду ?
Обычный даг ?
Да ,создаётся
Можно активировать и затригеррить

DAG Run ≠ DAG
DAG Run – запуск самого дага. Когда у тебя шедулер решает запустить даг или ручками ты его триггеришь, он создаётся.

Это ведь тоже самое ,что и таски ?

В Даге

Они есть
Когда включаешь даг ,они у тебя все в статусе queued и там остаются
Только dummy operatop завершается в самом начале мгновенно

Нет

Если они в очереди, но не выполняются – их не поднимают воркеры

Executor какой?

Python operator если я правильно понял тебя

Короче, если бы у тебя таски висели в статусе none – можно было бы ругаться на шедулер (там наверняка были бы ошибки про uniqueconstraint).
DummyOperator вообще не использует никаких экзекьюторов (вижу всегда, что они выполняются при пустом кластере воркеров), полагаю, что его разруливает шедулер.

А вот если таски висят в очереди, но не выполняются, это значит, что проблема где-то в executor-е. Может брокер чудить, может воркеров не быть активных – вариантов вагон

Неправильно понял)