Память проверили, там огромный запас, выходов не было

А по дате все ок

А в редисе?

Видимо ошибка оттуда прилетает

Подскажите как лучше организовать создание относительно большого DAGа.

DAG содержит:
* обычные операторы
* 3 таск-группы, которые принимают разные параметры в DAG(имена табличек) и используются по 2 раза -> 6 таск-групп в DAG
* если использовать 1 файл для описания DAG выходит многовато (>700 строк)
* такой DAG тяжело читать (или это норма?)

Как я решаю сейчас:
* в отдельные файлы выношу классы
* которые генерируют таск-группы
* эти классы имеют атрибуты и метод def generate_task_group()

Верен ли мой подход?

если кому нужно airflow в k8s со скачиванием dag из git

helm install --set webserver.defaultUser.password=password,ingress.enabled=true,ingress.hosts[0]=airflow.192.168.22.8.sslip.io,dags.gitSync.enabled=True,dags.gitSync.repo=https://github.com/apache/airflow.git,dags.gitSync.root=/opt/airflow/dags,dags.gitSync.subPath=airflow/example_dags --namespace apatsev airflow ./

Подскажите, пример image для PythonOperator с KubernetesExecutor

    # But you can if you want to
    one_task = PythonOperator(
        task_id="one_task",
        python_callable=print_stuff,
        executor_config={"KubernetesExecutor": {"image": "airflow/ci:latest"}},
    )

Что должно быть в CMD/ENTRYPOINT в dockerfile?

Коллеги, добрый день. Скажите, пожалуйста, возможно ли сделать так, чтобы view log страница обновлялась автоматически, без нажатия кнопки Refresh?

Всем доброго вечера!
Моя команда запускает airflow v 2.0.2 в кубере (kubernetes executor)
DAG's хранятся в PV /opt/airflow/dags и в конфиге указан что именно в этой папке
При просмотре через web-интерфейс DAG обнаруживается, но после его запуска поды если и поднимаются, то крашатся с ошибкой dag_id could not be found. Either the dag did not exist or it failed to parse

А kubernetes executor?

или local внутри пода шедулера?

Да, через kubernetes executor

А даги в образе или через git-sync попадают в под?

Даги находятся в PV

Выглядит так, что под, который поднимается для таска не имеет доступа к этому PV. Это pv с read-write many?

Да, с RWM

И этот вольюм указан в конфиге для пода? (ну или в env?)
Похоже, что вольюм не маунтится нормально в под таска

Было бы удобно сделать ls там, чтобы понять, что там есть вообще

Да вот коллега передеплоил, пока поды воркера не хотят подниматься

Зайти в под невозможно он постоянно в CrasLoopBackoff