хочется в переменную запихать экзекьюшн дейт, чтобы потом вычесть месяц и передать в оператор

а переменная эта где? правильно понимаю, что где-то в контексте ДАГа, но не в операторе

@aniiid @PchelinM спасибо! :)

Привет. После обновления на 2.0.1 некоторые даги стали стабильно помечаться как зомби (до обновления все было ок и работало быстро). Есть идеи? Это происходит буквально сразу после запуска, в логах только:

Log file does not exist.  Failed to fetch log file from worker.

Коллеги, кто-нибудь может помочь с airflow.
Clone airfllow

git clone https://github.com/apache/airflow.git
cd airflow/chart/
helm dependency update
kubectl create namespace apatsev

I create value.yaml

dags:
  gitSync:
    enabled: true
    repo: https://github.com/apache/airflow.git
    branch: master
    rev: HEAD
    root: "/airflow/example_dags"
    dest: "/opt/airflow/dags"
    depth: 1
    maxFailures: 0
    subPath: ""
    wait: 60
    containerName: git-sync
    uid: 65533
    extraVolumeMounts: []
    env: []

Install airflow

helm install --set webserver.defaultUser.password=password,ingress.enabled=true,ingress.hosts[0]=airflow.192.168.22.8.sslip.io --namespace apatsev airflow -f values.yaml  ./

Глупое предложение, но может проблема со свободным местом?

у меня так логи не отображаются в airflow 2 в kubernetes

да не, проверяли. это не самый тяжелый даг

same, но у меня периодически это возникает, в основном все ок

А сами файлы есть? У меня было так что почему-то они на 2 года раньше в названиях файлов логов создавались

И всегда это были запуски в 00:00

Да, все есть. Я нашел несколько дискашенов насчет возможных проблем с портом, но кругом общеают поправить в версии 2.1

Основная проблема в том, что таска улетает как зомби сразу после запуска

А кинь конец лога, что там

так в этом и проблема, что на все такие случае нет логов :) я наверное не верно выразился, когда таска улетает как зомби - логов нет

У меня такое же вчера было. Вместо логов вот эта параша.
Но мне повезло, таск ломался в самом конце - поэтому я как-то успел углядеть, что таск падал с ошибкой номер 9 - нехватка памяти. В общем он вроде всегда пишет ошибку, надо успеть узреть ее до краша )

хм, по мониторингу не замечали, спасибо, покопаем еще сюда 😔

Так глянь в папке с логами на сервере. У меня было что логи почему-то писались не с той датой

Я про это говорю

Ну мы их в локи храним. Там нет логов дага. А отваливается по такому логу:

[ERROR/ForkPoolWorker-9] Task airflow.executors.celery_executor.execute_command[0feb8704-7851-4c84-ab9f-e458c7c06e28] raised unexpected: AirflowException('Celery command failed on host: airflow-worke...