Size: a a a

2021 May 14

DP

Denis Porplenko in Airflow
Webui вкладка с дагом, cli command
источник

SC

Stanislav Chernov in Airflow
А внутри Дага нельзя? В питоноператоре
источник

FS

Fedor Sumkin in Airflow
Можно, через context
источник

А

Андрей in Airflow
Всем добрый день. Подскажите, при динамическом добавлении сабдага его задачи висят в раннинг и все. Это какая-то известная проблема? Ни очистка ни ручной новый запуск не помогают
источник

А

Андрей in Airflow
Точнее задач даже нет если войти в сабдаг. Верхняя точка ДАГ горит раннинг и все
источник

А

Андрей in Airflow
Отработали после выключения-включения дага. Похоже это связано с dags_are_paused_at_creation
источник

NA

Nikolay Avdushkin in Airflow
Не подскажете, есть ли какие-то менее костыльные решения, чем использование этой вундервафли?
источник

AA

Anton Afonin in Airflow
Именно
источник

AA

Anton Afonin in Airflow
Их нужно отдельно явно включать, там вроде есть дял этого команда
источник

AA

Anton Afonin in Airflow
https://habr.com/ru/company/rostelecom/blog/435746/
Если создать сабдаг — его нужно явно включить через командную строку командой "airflow unpause <имя_сабдага>", иначе он не запускается, причём делать это нужно при создании каждого нового сабдага (сабдаг с новым именем), из-за чего динамически генерировать будет очень неудобно. Если в конфигурации airflow ($airflow_home/airflow.cfg) установить параметр "dags_are_paused_at_creation"=false, это будет не нужно, но это может привести к неприятным последствиям со случайным автоматическим запуском нового дага — мне кажется, что запускать новые даги надо явно вручную.
источник

VS

Vladislav 👻 Shishkov... in Airflow
Очень спорное решение...
источник

AA

Anton Afonin in Airflow
Какое?)
источник

VS

Vladislav 👻 Shishkov... in Airflow
Как реализована генерация
источник

AA

Anton Afonin in Airflow
Ок
источник

AM

Anton Manevsky in Airflow
Подскажите, при добавлении провайдера в airflow (например jdbc) - что либо дополнительно нужно делать для отображения conn type в UI конекшенов?
Поставил jdbc - рестартанул шедулер и сервер - в дропдауне jdbc нет

И второй вопрос - при написании своего хука для добавлении нового Conn Type в UI веб морды - следуя докам - нужно реализовать пару методов в классе хука - есть ли здесь подводные камни?

Правильно ли будет размещать кастомный хук в папке plugins?
источник

ДЖ

Денис Жирнов... in Airflow
Коллеги, добрый день! Прошу помочь с решением проблемы.
Я принудительно установил через Dockerfile в образ pyodbc, во всех контейнерах он есть (через pip3 list показывает, что установлен), а Airflow упорно не видит и ругается, что модуль не найден...
источник

SC

Stanislav Chernov in Airflow
а через pip list - показывает?
источник

ДЖ

Денис Жирнов... in Airflow
Да и через pip list и через pip3 list
источник

ДЖ

Денис Жирнов... in Airflow
если запустить в контейнере, например в воркере питон и попробовать импортировать, то все импортируется
источник

ДЖ

Денис Жирнов... in Airflow
А может быть от того, что команда для установки запускалась под пользователем root
источник