По другому спрошу. Кто-нибудь использовал одни и те же функции для тасков в разных дагах?
Как вы это делали, не было багов?

Привет!
Используем
Иногда приходится рестартовать airflow))

какой из компонентов рестануть? шедулер там или чего еще?

Если все работает нормально и только не отоборажается в веб интерфейсе, то webserver
Если не работает, то весь airflow

спасибо, хоть теперь перестану искать причну, значит пока так буду обходить этот момент

да, 1.8.2 работает нормально
https://github.com/puckel/docker-airflow/issues/169
можно плюсануть)

👍

А 1.9 у меня и сам по себе не поднимается. Показывает гриб и стек ошибок. Но там хоть покопаться можно попробовать.

👍

В 1.9 делаем так
Меняем код дага и идем в морду
Нажимаем в списке дагов маленькую кнопулю обновления кода, пропадают таски, даг серый, f5ячим
Когда даг станет синей ссылкой тыкаем в него и получаем гриб, f5ячим
Идем в список, f5ячим, жмем опять на обновление кода дага, опять f5
В конце концов прогружаются инстанты тасков
Последовательность повторяем, пока а графвью не появится граф
Занимает примерно минуту или полторы плясок.

Или передергиваем шедулер и примерно то же самое но секунд 20

А я просто забиваю. Ну остаётся он какое-то время не валидным в веб интерфейсе. Так туда и не ходит никто пока все работает.

Коллеги, всем хорошего дня, с парой вопросов по сабжу не поможете?

На текущий момент у нас порядка 250 различных тасок которые написаны на баше/питоне(2/3)/перле и комбинации вышеперечисленных языков запускаются по крону на 1000+ виртуалках в различных сочитаниях
задумался над тем что стоит как-то этим безобразием централизованно управлять, и вот думаю сможет ли мне помочь в этом airflow?
два вопроса, может ли он запускать таски на удаленных машинах(например с помощью клиента который установлен на этой машине)?
как считаете, нужно ли будет под сабж сильно переписывать все  таски? Одно дело поменять пару строчек в  таске, и совсем другое полностью переписывать, на это врятли кто-то пойдет
Всем спасибо )

airflow поможет. принципиально переписывать таски не потребуется

💯

Ура!

Коллеги, добрый день. Подскажите, пожалуйста, как свежий код лучше всего доставлять в airflow. Вот я его коммичу в гит, а дальше? Сам airflow работает в докер-контейнере.

В доке читала про паппет и прочее, но нет с этим всем опыта работы.

Поделитесь плз своим опытом. Что считаете простым и удачным вариантом.

1) у gitlab есть встроенный механизм CI/CD, можно после коммита в гит-репозиторий пост-обработкой пушить изменения дагов/плагинов на воркеры airflow

разумеется, нужно, чтобы докер-контейнеры airflow пробрасывали в хостовую ОС каталоги с дагами-плагинами через volumes

Если дагов много как у нас, то лучше упаковывать их в RPM/DEB - собирать Jenkins (ну или тем же GitLab) и ставить в воркер. Ну или в тот каталог, что смонтирован в в докер

Дело в том, что просто закидывая их туда потом трудно вычищать хвосты.