Size: a a a

2020 December 22

AV

Alexandr Vladimirovi... in Airflow
Georgy Borodin
Короче, execution_date – самая соль Airflow, если он тебе не нужен – ты решаешь задачу, которую нужно было решить кроном
мне как раз таки нужен для по сути того же самого backfilling, чтобы без костылей в рамках дата перегрузить датку например, а не вручную
источник

GB

Georgy Borodin in Airflow
Alexandr Vladimirovich
мне как раз таки нужен для по сути того же самого backfilling, чтобы без костылей в рамках дата перегрузить датку например, а не вручную
Тогда тебе нужен execution_date
источник

GB

Georgy Borodin in Airflow
Иначе когда ты перезапустишь даг, а он будет смотреть на текущее время, он выполнит не то
источник

AV

Alexandr Vladimirovi... in Airflow
Georgy Borodin
Тогда тебе нужен execution_date
но она берется относительно предыдущего запуска ведь, а мне надо относительно текущего запуска и брать предыдущий день
источник

AV

Alexandr Vladimirovi... in Airflow
так как при ручном запуске execution_date будет now():: date
источник

ME

Max Efremov in Airflow
Alexandr Vladimirovich
но она берется относительно предыдущего запуска ведь, а мне надо относительно текущего запуска и брать предыдущий день
А шаг какой?
источник

GB

Georgy Borodin in Airflow
Alexandr Vladimirovich
но она берется относительно предыдущего запуска ведь, а мне надо относительно текущего запуска и брать предыдущий день
Это концепция такая, на деле он запускает именно текущий период (самый первый запуск будет от start_date, но стартанёт – start_date + interval)
источник

ME

Max Efremov in Airflow
Можно дату посчитать в питоне и кинуть в xcom, остальными юзать её
источник

GB

Georgy Borodin in Airflow
Alexandr Vladimirovich
но она берется относительно предыдущего запуска ведь, а мне надо относительно текущего запуска и брать предыдущий день
А так просто прибавь 1 день
источник

AV

Alexandr Vladimirovi... in Airflow
Max Efremov
А шаг какой?
каждый день, но мне ничто не мешает вручную запустить даг, и execution_date будет равен сегодняшней дате
источник

GB

Georgy Borodin in Airflow
Alexandr Vladimirovich
каждый день, но мне ничто не мешает вручную запустить даг, и execution_date будет равен сегодняшней дате
Тебе ничего не мешает очистить даг ран того дня
источник

ME

Max Efremov in Airflow
Alexandr Vladimirovich
каждый день, но мне ничто не мешает вручную запустить даг, и execution_date будет равен сегодняшней дате
А зачем руками?
источник

AV

Alexandr Vladimirovi... in Airflow
Georgy Borodin
Тебе ничего не мешает очистить даг ран того дня
это да, но человеческий фактор и привычка приведет к фаталити)
источник

ME

Max Efremov in Airflow
перезапуск дня да, чисткой дня
источник

AV

Alexandr Vladimirovi... in Airflow
Max Efremov
А зачем руками?
привычка уже выработалась(
источник

AV

Alexandr Vladimirovi... in Airflow
я понимаю что это хреного, но хотелось бы четко понимать что даже ручной запуск ДАГа не приведет к проблеме и некорректному расчету
источник

ME

Max Efremov in Airflow
Ну тип, ручной запуск - запроцессь мне текущий день, пофик, что данных ещё нет
источник

ME

Max Efremov in Airflow
Он и будет работать как сказали
источник

ME

Max Efremov in Airflow
А для процессинга прошлых дней надо запускать с той датой
источник

マサ

マキシム サモイロフ... in Airflow
Alexandr Vladimirovich
я понимаю что это хреного, но хотелось бы четко понимать что даже ручной запуск ДАГа не приведет к проблеме и некорректному расчету
Запретите rbac-ом ручной запуск 🙂
источник