Size: a a a

2021 May 24

СГ

Станислав Горчаков... in Airflow
Привет, всем) кто-нибудь прикручивал OAuth к Airflow?
источник

ФЧ

Филипп Чистяков... in Airflow
Ребят всем привет! Подскажите пожалуйста, что мне нужно сделать чтобы выставить приоритет выставления тасков?

То есть, есть DAG, в котором

Таска_главная -> таска_вторичная_1
Таска_главная -> таска_вторичная_2
Таска_главная -> таска_вторичная_3

Я ожидаю выполнения в порядке:
Таска_главная
таска_вторичная_1
таска_вторичная_2
таска_вторичная_3

Фактический результат:

Таска_главная
таска_вторичная_Любая
таска_вторичная_Любая
таска_вторичная_Любая

т.е они не идут 1,2,3 а могут 2,3,1 или 3,1,2

p.s. таски динамически генеряться из словаря
источник

ФЧ

Филипп Чистяков... in Airflow
источник

ММ

Максим Мартынов... in Airflow
почему бы не сделать из них цепочку?
источник

VS

Vladislav 👻 Shishkov... in Airflow
Очевидно, выстроить последовательный режим
источник

VS

Vladislav 👻 Shishkov... in Airflow
Таска_главная -> таска_вторичная_1 -> таска_вторичная_2 -> таска_вторичная_3
источник

ФЧ

Филипп Чистяков... in Airflow
concurrency = 5
источник

ФЧ

Филипп Чистяков... in Airflow
источник

ФЧ

Филипп Чистяков... in Airflow
Мне на самом деле нужно чтобы прошли сначала daily таски, и если один из 5 завершил работу, стартовал monthly

итд
источник

VS

Vladislav 👻 Shishkov... in Airflow
Что-то мне кажется, что нужно вам не такое, но я все равно понять не могу, в чем проблема?
источник

ФЧ

Филипп Чистяков... in Airflow
Что стартуют они не по порядку)
источник

ФЧ

Филипп Чистяков... in Airflow
А мне нужно чтобы сначала daily часть считалась
источник

ME

Max Efremov in Airflow
они все одновременно запускаются
источник

ME

Max Efremov in Airflow
нужно связи сделать
источник

ME

Max Efremov in Airflow
first >> second >> third
источник

ФЧ

Филипп Чистяков... in Airflow
Это я понмаю как)
источник

VS

Vladislav 👻 Shishkov... in Airflow
Тогда в чем проблема?
источник

z

zxyzxy in Airflow
можно еще приритеты расставить разные, для тасков одного уровня
источник

ME

Max Efremov in Airflow
можно массивчиком [one, two] >> [three, four]
источник

z

zxyzxy in Airflow
чтобы не плодить разные уровни вложенностей
источник