Size: a a a

2021 February 25

DK

Damir Kuskildin in Airflow
Спасибо 🙏
источник

S

Staseello in Airflow
Всем привет. Что-то гуглеж сходу не дал ответа на вопрос "Можно ли в саб-даге внутри доставать список тасков и их xcom"
У меня был даг, в котором был кусок кода вида
```
tasks = [x.task_id for x in context['dag'].tasks if not isinstance(x, DummyOperator)]
```
Дальше я из этих тасков делал xcom_pull нужных мне данных.
Теперь я собрал этот даг и еще один похожий в sub-dag operator и когда я там выполняю такой кусок, мне приходят не таски внутри саб-дага, а сами sab-dag operators. В context что-то ничего похожего не увидел 🙁
источник

ЮЛ

Юрий Лифанов... in Airflow
Почему может фейлится даже простейший баш оператор? Есть 2 дага, в одном баш оператор выполняется нормально (просто date) , перенёс его в другой даг, в начало цепочки, сразу же фейлится
источник

ME

Max Efremov in Airflow
А что в логах?)
источник

ЮЛ

Юрий Лифанов... in Airflow
В логах ничего
источник

ЮЛ

Юрий Лифанов... in Airflow
источник

マサ

マキシム サモイロフ... in Airflow
может какой-то из компонентов не работает. проверьте логи шедулера и экзекьютора
источник

PA

Panchenko Andrey in Airflow
Приветствую, вопрос следующего характера:
как сделать так чтобы каждый оператор в цепочке при фэйле мог отправить хук по вебу?
источник

PA

Panchenko Andrey in Airflow
зайфелился отправил хук, с именем таски, дага и временем
источник

PA

Panchenko Andrey in Airflow
могу слать в хэнгаутс от гугла, слака нету.
источник

AB

Alexey Bedrintsev in Airflow
On_fail_callback у BaseOperator
источник

PA

Panchenko Andrey in Airflow
пробовал) мне нужен бигквери или пайтон
источник

PA

Panchenko Andrey in Airflow
Alexey Bedrintsev
On_fail_callback у BaseOperator
кстати у меня почему-то на этом операторе прямо бесконечная отправка
источник

AB

Alexey Bedrintsev in Airflow
Panchenko Andrey
пробовал) мне нужен бигквери или пайтон
BasOperator - базовый класс всех операторов. Напишите коллбек (детали ошибки можно из контекста взять), передайте его в default_args при создании дага, и будет счастье во всех тасках дага
источник

AB

Alexey Bedrintsev in Airflow
Panchenko Andrey
кстати у меня почему-то на этом операторе прямо бесконечная отправка
Не понял) подробнее можно?
источник

PA

Panchenko Andrey in Airflow
Alexey Bedrintsev
Не понял) подробнее можно?
источник

AB

Alexey Bedrintsev in Airflow
Надо функцию, принимающую контекст, написать, а не вызывать коллбек при создании оператора. Сейчас у вас  небось и без запуска дага в слак пишется.
источник

PA

Panchenko Andrey in Airflow
ага
источник

PA

Panchenko Andrey in Airflow
понял, буду смотреть как это сделать.
не могли бы указать раздел в доек или может статью на этот счет?
источник

PA

Panchenko Andrey in Airflow
Panchenko Andrey
понял, буду смотреть как это сделать.
не могли бы указать раздел в доек или может статью на этот счет?
источник