Size: a a a

2020 October 06

VS

Vladislav 👻 Shishkov... in Airflow
Вообще смотрите тайминги, 10 дагов не успевает шедулер, тут что-то странное
источник

D

Dmitry in Airflow
Anton Afonin
а перезапустить сервисы не помогло?)
Попробую
источник

VS

Vladislav 👻 Shishkov... in Airflow
Мы переезжали, когда у нас 120+ дагов стало
источник

ME

Max Efremov in Airflow
Vladislav 👻 Shishkov
Вообще смотрите тайминги, 10 дагов не успевает шедулер, тут что-то странное
они раз в сутки запускаются, половина вообще раз в месяц. Я не уверен, что тут ресурсов не хватает
источник

VS

Vladislav 👻 Shishkov... in Airflow
Max Efremov
они раз в сутки запускаются, половина вообще раз в месяц. Я не уверен, что тут ресурсов не хватает
Запуск не причем
источник

ME

Max Efremov in Airflow
при работе всё норм, между тасками секунд 10
источник

VS

Vladislav 👻 Shishkov... in Airflow
У вас скорее всего шедулер не успевает инициализацию делать
источник

ME

Max Efremov in Airflow
но сообщение висит постоянно
источник

ME

Max Efremov in Airflow
Это можно по каким-то логам понять?
источник

ME

Max Efremov in Airflow
Вот выполнение вчерашнего дага, всё быстро подхватилось
источник

NP

N P in Airflow
Уважаемые коллеги, разрешите вопрос. Имею даг и внутри есть branch operator. Depends_on_past= true.  Поскольку одна из тасков за брэнчом - skipped - новый даг не стартует. Тема известная как я понял, но как лечится - не нашел. Airflow 1.10.10
источник

NP

N P in Airflow
Убирать брэнч?)
источник

ME

Max Efremov in Airflow
N P
Уважаемые коллеги, разрешите вопрос. Имею даг и внутри есть branch operator. Depends_on_past= true.  Поскольку одна из тасков за брэнчом - skipped - новый даг не стартует. Тема известная как я понял, но как лечится - не нашел. Airflow 1.10.10
А финальный результат дага успешный?
источник

NP

N P in Airflow
Первый даг прошел хорошо. Второй горит в раннинг и тишина
источник

NP

N P in Airflow
Беру таск из первооо успешного даг и ставлю саксесс - второй начинает работать
источник

ME

Max Efremov in Airflow
А можно картинку tree view?
источник

NP

N P in Airflow
N P
Беру таск из первооо успешного даг и ставлю саксесс - второй начинает работать
Тас которй был скипаед в саксесс
источник

ME

Max Efremov in Airflow
кстати, эта штука всегда на 1 минуте висит, не увеличивается через минуту...
источник

NP

N P in Airflow
Max Efremov
А можно картинку tree view?
источник

NP

N P in Airflow
Если я сейчас скиппед таск сделаю руками саксесс - оживет следующий.
источник