Size: a a a

2020 September 08

VA

Vladislav Akatov in Airflow
Max Efremov
Это просто обновление файла дага? А в базе же осталась информация о старом, какие там таски
Да, в этом и идея, чтобы статистика не подтиралась. Если надо подтереть - можно по id дага из базы удалить записи, но такое не было нужно, это навскидку
источник

ME

Max Efremov in Airflow
Хм, сейчас перепроверил, так у меня не работает:
создаю даг с одной таской, запускаю его 3 месяца отработать 2019-01 - 2019-03
Добавляю в файле новую таску, расширяю время работы до 2019-06. Он начинает делать 4 месяц, выполняет первую таску и встаёт перед второй, новой:
источник

ME

Max Efremov in Airflow
источник

ДН

Дмитрий Негреев... in Airflow
Точно не уверен, но за это вроде wait_for_fownstream отвечает.
Если у предыдущего даграна статус у этой же таски отличный от succeeded, то он будет ожидать пока он станет успешно выполнен.
источник

ДН

Дмитрий Негреев... in Airflow
Если он встаёт в любом случае, то скорее всего только версионирование дага в 2.0 ждать
источник

ME

Max Efremov in Airflow
У меня есть depends_on_past = True только
источник

ME

Max Efremov in Airflow
мб поэтому, действительно...
источник

ME

Max Efremov in Airflow
но оно мне надо...
источник

ДН

Дмитрий Негреев... in Airflow
Если никак не лечится, теоретически можно в cd пробегать с апдейтами статусов у новой таски предыдущих дагранов
источник

ДН

Дмитрий Негреев... in Airflow
Мне вот тоже надо) и проблема ровно такая же, но я пока не думал об этом
источник

ДН

Дмитрий Негреев... in Airflow
Дмитрий Негреев
Если никак не лечится, теоретически можно в cd пробегать с апдейтами статусов у новой таски предыдущих дагранов
Но это если у вас таски не динамически генеряться от внешних условий не связанных с деплоем
источник

ME

Max Efremov in Airflow
Дмитрий Негреев
Если никак не лечится, теоретически можно в cd пробегать с апдейтами статусов у новой таски предыдущих дагранов
поставил у прошлой успех руками, чот не очень помогло)
источник

ME

Max Efremov in Airflow
источник

ДН

Дмитрий Негреев... in Airflow
Странно, а с шедулером порядок?
источник

ME

Max Efremov in Airflow
а, всё выполнилось)
источник

ME

Max Efremov in Airflow
наверное можно руками поставить хотя бы)
источник

ME

Max Efremov in Airflow
при релизе нового дага)))
источник

ДН

Дмитрий Негреев... in Airflow
Ну я пока руками и ставлю
источник

ДН

Дмитрий Негреев... in Airflow
Но если что-то в середине надо толкнуть например
источник

ME

Max Efremov in Airflow
Наверное тоже так будем пока, спасибо)
источник