FD
Смотрю по логам и получается, что воркер так же исполняет весь даг-файл (скрипт)
Size: a a a
2020 September 04
FD
т.к. при каждом запуске task instance у меня скачок по подключениям к БД
VS
значит так сгенерировали
FD
так я использую примеры с офф сайта (https://airflow.apache.org/docs/stable/faq.html#how-can-i-create-dags-dynamically)
FD
смысл этой автогенерации, если при каждом запуске таски воркер будет генерировать одно и тоже
FD
DM
Привет всем, может кто подскажет, как решить задачку.
у меня есть pythonoperator, который при определённом условии поднимает AirflowException и отправляется на ретрай с некоторой дельтой, соответсвенно после n неудачных попыток ставит себе fail и пускает таск с триггером one_failed
Вопрос: как мне различить exception от натуральной ошибки и тот который я поднимаю в trigger_rule?
у меня есть pythonoperator, который при определённом условии поднимает AirflowException и отправляется на ретрай с некоторой дельтой, соответсвенно после n неудачных попыток ставит себе fail и пускает таск с триггером one_failed
Вопрос: как мне различить exception от натуральной ошибки и тот который я поднимаю в trigger_rule?
FD
Можно решить доп параметром (аргументом), который по умолчанию нулл, а при ретрае флаг
VN
Всем доброго дня!
Есть вопрос по шаблонам jinja. Использую их в EmailOperator-e. В письме шаблоны не подставляют значения
html_content="Templated Content: date: {{ds}} task_key - {{ task_instance_key_str }} test_mode - {{ test_mode }} task_owner - {{ task.owner}} hostname - {{ ti.hostname }}",
Есть вопрос по шаблонам jinja. Использую их в EmailOperator-e. В письме шаблоны не подставляют значения
html_content="Templated Content: date: {{ds}} task_key - {{ task_instance_key_str }} test_mode - {{ test_mode }} task_owner - {{ task.owner}} hostname - {{ ti.hostname }}",
VN
Может кому пригодится - нашел решение. EmailOperator обернул в PythonOperator и перед email_op.execute(context) вызвал email_op.render_template_fields(context, jinja_env=context['dag'].get_template_env())
ME
А как из питон операторы вызвать другой оператор?
ME
запустить у него run?
E
Всем доброго дня!
Есть вопрос по шаблонам jinja. Использую их в EmailOperator-e. В письме шаблоны не подставляют значения
html_content="Templated Content: date: {{ds}} task_key - {{ task_instance_key_str }} test_mode - {{ test_mode }} task_owner - {{ task.owner}} hostname - {{ ti.hostname }}",
Есть вопрос по шаблонам jinja. Использую их в EmailOperator-e. В письме шаблоны не подставляют значения
html_content="Templated Content: date: {{ds}} task_key - {{ task_instance_key_str }} test_mode - {{ test_mode }} task_owner - {{ task.owner}} hostname - {{ ti.hostname }}",
у меня нормально работает
send_email = EmailOperator(
task_id='send_email',
to=email_list,
subject='DAG report {{tomorrow_ds}}',
html_content="""{{ '<br>'.join(task_instance.xcom_pull(task_ids='some_task_id')) }}""",
dag=dag
)
VN
Хм возможно
А как логи стянуть и отправить прикрепленным файлом лучше - вытянуть из директории logs или из самой бд метаданных?
А как логи стянуть и отправить прикрепленным файлом лучше - вытянуть из директории logs или из самой бд метаданных?
DM
А как из питон операторы вызвать другой оператор?
В питон операторе можно вызвать SomeHook.run, или если это email, из utils достать send_email.