Size: a a a

2020 December 08

AS

Alexander Shinkov in Airflow
Pavel
Нет, вряд ли, у него жизненный цикл другой. Мы для этого написали свою обертку, которая запускает джобы, получился не самый элегантный код в виду кучи условных операторов и циклов с ожиданиями, но стабильно работает
🔥
источник

AS

Alexander Shinkov in Airflow
Стало понятнее))
источник

ДН

Дмитрий Негреев... in Airflow
Pavel
Нет, вряд ли, у него жизненный цикл другой. Мы для этого написали свою обертку, которая запускает джобы, получился не самый элегантный код в виду кучи условных операторов и циклов с ожиданиями, но стабильно работает
сильно) мне наверно сначала что-то попроще надо)
источник

AS

Alexander Shinkov in Airflow
там ничего сложного быть не должно. Разберемся
источник

VS

Vladislav 👻 Shishkov... in Airflow
Антон
Всем привет! Подскажите пожалуйста, кто как подбирал оптимальное значение параметра parallelism?
по поиску тут можно найти
источник

VA

Vladislav Akatov in Airflow
Два вопроса:
есть ли в API метод для включения сразу всех дагов? каким параметром можно отключить первый запуск дага при его включении?
источник

ME

Max Efremov in Airflow
Vladislav Akatov
Два вопроса:
есть ли в API метод для включения сразу всех дагов? каким параметром можно отключить первый запуск дага при его включении?
А зачем включать, если не надо, чтобы запускался по расписанию?
источник

VA

Vladislav Akatov in Airflow
Max Efremov
А зачем включать, если не надо, чтобы запускался по расписанию?
Эм, нет, он в принципе должен запускаться по расписанию, только если стартовое время дага установлено на дату в прошлом, он один раз запускается при его включении.
источник

МЖ

Михаил Жиляков... in Airflow
Всем привет. Столкнулся с такой ошибкой: не отрабатывает таск при вызове ДАГа по расписанию (ему ставится статус no_status). При этом, если вручную запустить ДАГ, то все отрабатывает. Кто-нибудь знает, с чем это может быть связано?
источник

ME

Max Efremov in Airflow
Vladislav Akatov
Эм, нет, он в принципе должен запускаться по расписанию, только если стартовое время дага установлено на дату в прошлом, он один раз запускается при его включении.
У меня он догоняет до настоящего времени, не один раз... или это при выключенном кетчупе?
источник

VA

Vladislav Akatov in Airflow
Max Efremov
У меня он догоняет до настоящего времени, не один раз... или это при выключенном кетчупе?
Ну да, дефолтовый кетчуп false
источник

VA

Vladislav Akatov in Airflow
Но мне даже и один раз как бы не надо. Надо только чтобы следующие.
источник

P

Pavel in Airflow
Vladislav Akatov
Но мне даже и один раз как бы не надо. Надо только чтобы следующие.
depends_on_past?
источник

VA

Vladislav Akatov in Airflow
Уже стоит по дефолту False. Я интересуюсь, кто как обходит сей комментарий к кетчупу
When turned off, the scheduler creates a DAG run only for the latest interval.
источник

AA

Anton Afonin in Airflow
Vladislav Akatov
Уже стоит по дефолту False. Я интересуюсь, кто как обходит сей комментарий к кетчупу
When turned off, the scheduler creates a DAG run only for the latest interval.
LatestOnlyOperator ?)
источник

AA

Anton Afonin in Airflow
А зачем его вообще на паузу ставить?
источник

VA

Vladislav Akatov in Airflow
Anton Afonin
А зачем его вообще на паузу ставить?
он не на паузу ставится, это сервер на котором должен бежать аирфлоу иногда останавливается, и потом возникают головные боли из-за того, что даги не отбежали...
источник

VA

Vladislav Akatov in Airflow
Anton Afonin
LatestOnlyOperator ?)
попробую, спасибо
источник

AA

Anton Afonin in Airflow
Vladislav Akatov
попробую, спасибо
не, это не про то)
источник

AA

Anton Afonin in Airflow
Я только сейчас догнал, в чём дело
источник