Действительно, почему то том не монтируется к worker-поду

Спасибо вам большое за помощь!

Коллеги, подскажите, установил airflow в k8s, запустил example_kubernetes_executor.py через web интерфейс.

    one_task = PythonOperator(
        task_id="one_task",
        python_callable=print_stuff,
        executor_config={"KubernetesExecutor": {"image": "airflow/ci:latest"}},
    )

почему

one_task

выполнился? ведь

{"image": "airflow/ci:latest"}

не существует? его нет на dockerhub.

Коллеги, день добрый. Может кто уже решал такую проблему. Разворачиваем при каждом запуске ДАГа свежий под, на этапе клонирования с гита etl-сборок периодически падает, есть необходимость повторять попытки если получаем определенные типы ошибок. Суть вопроса. Как засунуть в XCOM признак того что грохнулось клонирование одной etl-сборки, если для него это только набор башевских команд?
через перенаправление вывода в ключ /airflow/xcom/return.json пробовала - не взлетело

Может я не туда смотрю, и эта проблема по другому должна решаться

Добрый день))     def extract_issues(issues):
       print(issues)
       return issue.id

   issue_search = {
       "jql_str": "project=PFA",
       "maxResults": 100,
   }
   search_jira_issue = JiraOperator(
       task_id='search_jira_issue',
       jira_conn_id='jira_connect',
       jira_method='search_issues',
       jira_method_args=issue_search,
       result_processor=extract_issues
   )

   ERROR - Jira operator error: extract_issues() takes 1 positional argument but 2 were given

Что то совсем...

Метод extract_issues должен принимать в аргументы context, jira_result

два аргумента

А как это?? ))

Ну вот так)

 if self.result_processor:
                return self.result_processor(context, jira_result)

Огромное спасибо))

коллеги подскажите - даг отрабатывает - в sql скрипте ошибка - но оператор всё равно заканчивается успешно, хотя исключений никаких не ловится

Хм, а можно триггернуть даг с тем же временем выполнения, какой уже есть?

мне нужно его перезапустить по сути за этот же день через TriggerDagRunOperator

Вот тут выше переписку глянь

👆

Спасибо!

Хм, это не совсем то, это когда таску запустили, а надо попозже её пустить)