Size: a a a

2020 October 06

AK

Anvar Khamidov in Airflow
Кинешь страничку в доке?
источник

ME

Max Efremov in Airflow
источник

AK

Anvar Khamidov in Airflow
От души✊
источник

ME

Max Efremov in Airflow
или пайтон оператор с рандомной задержкой
источник

ME

Max Efremov in Airflow
тоже вариант
источник
2020 October 07

ДН

Дмитрий Негреев... in Airflow
кто-нибудь заморачивался с wait_for_downstream на уровне дага?
нужно начинать выполнять таски следующего даграна, только после успешного завершения всего текущего даграна
источник

С

Сюткин in Airflow
Дмитрий Негреев
кто-нибудь заморачивался с wait_for_downstream на уровне дага?
нужно начинать выполнять таски следующего даграна, только после успешного завершения всего текущего даграна
Max_active_runs =1?
источник

NP

N P in Airflow
Дмитрий Негреев
кто-нибудь заморачивался с wait_for_downstream на уровне дага?
нужно начинать выполнять таски следующего даграна, только после успешного завершения всего текущего даграна
Да
источник

ДН

Дмитрий Негреев... in Airflow
Сюткин
Max_active_runs =1?
я пока в голове не очень понимаю есть ли в этом проблема, но он начинает запуск следующего, если текущий фейлится
формально можно забить и не переподнимать, но теоретически можно попасть в ситуацию, когда 2ой таск 1ого даграна фейлится и ретраится в момент, когда работает 1ый таск другого даграна
источник

С

Сюткин in Airflow
источник

С

Сюткин in Airflow
Судя по твоему заданию если упал даг ран следующий не должен стартануть,так?
источник

ДН

Дмитрий Негреев... in Airflow
Сюткин
Судя по твоему заданию если упал даг ран следующий не должен стартануть,так?
угу, потому что таски не самостоятельны сами по себе, самостоятелен только весь даг
depend_on_past (а точнее wait_for_downstream) не даст запустить упавшие таски в другом дагране, а выполненные - запустит
источник

С

Сюткин in Airflow
В зависимости от триггер_rule очевидно?
источник

С

Сюткин in Airflow
Там же написано что триггер_руле стакается с depend_on_past
источник

ДН

Дмитрий Негреев... in Airflow
Да по-сути даже не важно какой сложности даг, хочется просто чтобы если текущий dagrun = failed, то следующий сидит ждет с самого начала
источник

С

Сюткин in Airflow
Depend_on_past =True
Trigger_rule = 'all_success'
источник

С

Сюткин in Airflow
И впихнуть актив_ранс =1 наверно тоже не помешало бы
источник

ДН

Дмитрий Негреев... in Airflow
у меня wait_for_downstream стоит, он по умолчанию Depend_on_past =True врубает
Trigger_rule такой по-дефолту, я его нигде кастомный не ставил
max_active_runs = 1 стоит на уровне конфига
источник

ДН

Дмитрий Негреев... in Airflow
но к сожалению это все решает проблему только на уровне task instance)
источник

С

Сюткин in Airflow
Ок,сча проверю у себя
источник