Всем привет. Пытаюсь передать значение в кастомный оператор, вот такой шаблон передаю параметром “{{ task_instance.xcom_pull(task_ids=‘task_name’, key='return_value') }}”, task_name это AWSAthenaOperator, который пушит значение (xcom push) query_execution_id запроса на авс, значение которое он запушил в xcom есть, но в мой оператор вместо значения передается сам шаблон, подскажите плз в какую сторону посмотреть?

Привет! А в твоём операторе есть template поля ?

По своим оператором ты подразумеваешь самописный, верно?

да, если что уже решил вопрос, добавил в функцию execute в своем операторе
exec_id = context['task_instance'].xcom_pull(self.xcom_pull_task_name)

ну вообще достаточно было поле объявить в свойстве template_fields, тогда бы перед передачей в execute оно было бы отрендерено jinja шаблонизатором

спасибо, сейчас попробую

типа такого, писал по памяти

👍

https://github.com/apache/airflow/issues/14872
Коллеги, не могу сменить пароль для web входа, когда устанавливаю airflow через helm.
кто-нибудь сталкивался? в issue все описал

привет, всем! Использую airflow 2.0.1. Я подгружаю даг из мета базы через PickleModel и пытаюсь запустить его, но первый же таск падает с ощибкой Task exited with return code 1. И больше никаких логов нет. Еще странная вещь, что при запуске через DebugExecutor все отрабатывает нормально. Запускаю все на докерах.

Может кто сталкивался с такой ошибкой и может подсказать, что это подразумевается?

дяденьки, здравствуйте!
подскажите, кто-то использует в своих кастомных операторах HttpHook с retry-функционалом?
как оно в работе?

           hook = HttpHook(http_conn_id='my_conn',method='GET')
           retry_args = dict(
                wait=tenacity.wait_exponential(),
                stop=tenacity.stop_after_attempt(10),
                retry=requests.exceptions.ConnectionError
            )
            hook.run_with_advanced_retry(
                    endpoint='v1/test',
                    _retry_args=retry_args
            )

был такое кейс с пайтон венв оператором, причина была в кривом операторе

в моем случае оператор хранил в аргументах ссылки на модули, из-чего не мог корректно запиклиться

у меня трабл в другом, к сожалению. Он вроде нормально подгружается и тд. Я вот тут описал свою боль)
https://github.com/apache/airflow/discussions/14891

Привет, всем еще раз! Кто-нибудь создавал свои модели (таблички) в мета базе Airflow c использованием airflow.models.base. Где их нужно хранить и чтобы они создавались автоматом при запуске airflow initdb

Накатывать свои миграции потом?
Не лучше ли отдельное хранилище иметь? В чём такой вин от своей модели?

в том, что нужно хранить мета информацию, которая опирается на модели дагов, пиклов и тд

Лучше бы отдельно, да

ок, но как все равно создавать таблицы в мета базе?)