Привет, подскажите плз как прокинуть параметр в SubDagOperator.

payload = SubDagOperator(
        subdag=get_subdag(my_param),
        task_id='sub_dag_1',
        dag=root_dag,
        trigger_rule=TriggerRule.ALL_SUCCESS,
    )

вот сюда как то хочу передать параметр (my_param)
но не очень понятно, как его поймать в сабдаге.
xcom в родительском даге заполняется, в сабдаге - пусто (что в общем то ожидаемо вроде как потому как это 2 разных дага, пусть и как то связанных)

payload = SubDagOperator(
        subdag=get_subdag(my_param),
        task_id='sub_dag_1',
        dag=root_dag,
        trigger_rule=TriggerRule.ALL_SUCCESS,
    )

А как xcom делаешь? Ты можешь по айдишнику родительского дага вытаскивать

{{ ti.xcom_pull('param_name') }}


Попробую

чеерз id родительского вытащить, спасиб

Привет, имеет смысл обновляться до 2.0
Насколько стабильная штука?

всем привет! подскажите, в чем может быть дело? запускаю python operator, в котором вызывается ffmpeg через subprocess. Как только происходит вызов ffmpeg - таск висит, и далее убивается по таймауту похоже.
{{helpers.py:335}} WARNING - process psutil.Process(pid=6815, name='ffmpeg', started='10:25:58') did not respond to SIGTERM. Trying SIGKILL
Команда ffmpeg с теми же аргументами внутри докера отрабатывает без проблем. Меняю ffmpeg на любую другую команду (touch, dir) - task отрабатывает без проблем. Т.е. проблема именно в запуске ffmpeg из subprocess под airflow, но куда копать не представляю...

Может операционка киляет этот процесс потому что что-то выжирает память?

нет, использование цпу около нуля, потребление оперативки такое же как до запуска

при этом использование bashoperator, которому передается тот же py скрипт отрабатывает без проблем
BashOperator(task_id='test_bash', bash_command='python3.7 /airflow/dags/processing.py')

Товарищи. В cfg указана директория, где лежат даги, я добавил туда пару дагов, пару старых убрал. В веб морде список дагов не изменился, как перезапустить airflow, чтоб потянулся новый список дагов?

он сам перечитывает периодически и ищет новые

А если у нас айрфлоу развернут в контейнере?

Volume покинуть нужно и работать в этой папке

Добро пожаловать в самое дружелюбное комьюнити.

Друзья, помогите с одним моментом. Есть облачный сервак, на котором установлен airflow. Его метабаза хранится в postgres, которая развернута отдельно от этого сервера. Допустим, этот сервак умер. Возможно ли поднять новый сервер, склонировать весь репозиторий с дагами на него, установить с нуля airflow и в конфиге прописать путь к той же самой БД. Взлетят ли даги, сохранятся ли все user’ы и коннекшены, которые были созданы ранее предыдущим инстансом airflow? И отдельный вопрос, правильно я понимаю, что команда airflow initdb перезаписывает всю существующую инфу в метабазе?

1. Да
2. Нет, это накатка ddl структуры

Спасибо

Добрый день , скажите есть ли смысл  переходит с ssis на airflow?

Плюсы/минусы?

Сенсации/интриги /расследования?

чем вас ссис не утраивает? делать переход ради перехода точно не стоит