возможно ли проверять только на дату?

Запускал сначала vitrine_model_v1.0, затем Даг в котором находиться externalSensor

Тогда нужно фкнкцию написать

Которая отдаст нужную дату

Всем привет, есть вопрос по Airflow может кто сталкивался. При переходе на KuberantesExecutor возникла следующая ситуация. Часто поды падают с ошибкой "airflow.exceptions.AirflowException: dag_id could not be found: dag_id. Either the dag did not exist or it failed to parse". Падает ошибка, так как действительно нет такого дага по таму пути по которому он ищет "airflow/dags/..2021_04_07_04_57_57.777115096/dag_builder.py". Даги же лежат "airflow/dags/dag_builder.py". Обычно ошибку связывают с git_sync, но в моем случаи мы используем локальную папку. Насколько я могу судить необходимо отключить функцию копирования дагов в папки с датой запуска, для подов. Монтируем всегда все в "airflow/dags". Версия Airflow 2.0.1. Кто работал с KuberantesExecutor и знает что нибудь об этом? Может есть парамерт которые включает и отключает создание папок с датами?

под с таской видит даги?

Это как раз под с таской не видит даги. Под с шедулером и вебсервиром работает нормально, но так же создает папки. В случаи использования LocalExecutor, папки создаются, но все работает нормально.

всмысле у вас даги на под попадают в момент запуска пода?
обычно берется сетевой диск (nfs/iscsi), через git-sync или ci/cd на него падают ваши даги
этот диск монтируется в template pod /шедулер / веб-сервер

еще тут рассказывали что в s3 складывали, и через s3fs маунтили бакет

у нас ci/cd подкладывает даги в конфигмапу опеншифта, а оттуда монтируется в template pod /шедулер / веб-сервер

ну вообще template pod вроде как сам ничего не придумывает, а путь правильно указываете?
да и в целом даже если даг в подпапке, airflow их тоже обходит

да монтирую всегда все в airflow/dags и в поды тасок и в шедулер и в веб-сервер

Думаю, что проблема именно в настройке Airflow, которая заставляет Airflow создавать копии даги при каждом запуске. Проблема при этом плавающая иногда весь граф проходит корректно и поды не падают находя все даги.

Ребят, обьясните пожалуйста, что мне гуглить, чтобы настроить автоимпорт тасок из github проекта?

api github получения репозитория и тд, а потом можно по идее использовать import_string из airflow, если я правльно понял о чем ты

настроить ci cd

Я могу даг просто написать который будет автоимортировать файлы тасок из github а

Но это верный ли путь?

путь норм, и у тебя получится один файл в папке dags, который будет генерить все даги из репозитория

Ок