Мы тут люди консервативные, научены были сызмальства ручонки к расписанию не тянуть, так и советуем 😀

А на деле надо сорцы смотреть, конечно

В сорцах правда. А то насоветуют в этом слэке, а потом разгребай...

Коллеги, всем привет. Возможно, вопрос уже был, прошу прощения, если повторяюсь. Версия аирфлоу - 1.10.13
Есть даг с вот такими параметрами:
default_args = {
   'owner': 'airflow',
   'depends_on_past': False,
   'email': ['airflow@example.com'],
   'email_on_failure': False,
   'email_on_retry': False,
   'start_date': pendulum.datetime(year=2021, month=2, day=10, hour=00, minute=00, second=00, tzinfo='local'),
   'retries': 1,
   'retry_delay': timedelta(minutes=5),
   'weight_rule': WeightRule.UPSTREAM
}
Включаю его на вебе, даг переходит в статус Running, но все таски внутри в статусе None. Куда стоит покопать? Какие-то проблемы со скедулером? Но он бы тогда даг не подтянул же...

На предыдущей версии 1.10.12 всё работает. Видимо, проблема не в даге

проверь созданы ли пулы

Всем привет. В Airflow совсем новичок. Хотел такой момент узнать. Я получаю какой нибудь хук (допустим OracleHook) указывая только айди соединения. А где прописаны параметры соединения через этот id (логины/пароли для соединения, и прочее). Смотрю на код дага и не понимаю, откуда это берется

вкладка connections в веб-интерфейсе (к ней может не быть доступа если нет нужных прав)

Если нет прав - можно через командную строку создавать и править
https://airflow.apache.org/docs/apache-airflow/stable/howto/connection.html

Благодарю

Добрый день. Сталкивался кто-нибудь с тем, что при импорте variables из json файла двойные ковычки конвертируются в одинарные? версия 1.10.10

Файл выглядит  так:
{
   "a": [{"b" : "c"}]
}
Airflow конвертирует в
key: a
val: [{'b':'c'}]

В двойные кавычки заключают строки в JSON, какая разница, какие кавычки поставит питон при печати?

Я в коде использую эту variable с помощью json.loads(). Но теперь понял что можно просто заменить ' на " перед вызовом

Если я правильно сванговал, ты берёшь значение из переменной, но получаешь строку, а потом уже пытаешься её спарсить.
Это можно сделать проще: foo_json = Variable.get("foo_baz", deserialize_json=True)

Да, именно это я и пытаюсь сделать. Попробовал твой вариант, но ошибка та же. Видимо потому что для десериализации  нужны двойные кавычки в любом случае
UPD

 json.loads(Variable.get("foo_bar_config").replace("'", "\""))

 
работает

Всем привет, кто нибудь создавал в веб интерфейсе коннектор samba?

Так и не смог разобраться.
Взял пример, создал таск с бесконечным циклом, но airflow не шлёт сообщение. Уверен что проблема в какой-то мелочи, но уже третий день сижу и разбираюсь

А если взять пример с гита? Может дело в том, что с SLA сравнивается время работы в конце (не используем у себя пока что sla, так что это догадки)

Ну и опцию в конфиге можно проверить https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#check-slas

Точнее так, добился того что сообщение приходит, но по такому принципу. Когда Даг начинает работу заново, он присылает отбивку что sla просрочен. В моему случае запуск ежедневный, и сообщение будет уже не уместно. Возможно есть какие-то идеи, как можно получать Алерты если привыкшего время Х работы дага ( были случаи когда таблица заблокировалась, даг не падал при этом)

Я бы сначала разобрался с использованием SLA от Airflow. Если не подойдёт – посмотрел бы метрики, которые Airflow публикует в statsd, если и это не подойдёт – в случае с PythonOperator решается выбором подходящего решения из гугла на тему замерения времени работы скрипта (не могу ничего подсказать с ходу)