ME
Там вроде есть в концепции на сайте это
Size: a a a
2020 October 29
ay
Я всё вынес в другие файлики, в даге только вызов конструкторов операторов)
эти другие файлы лежат в директории с дагами? т.е. планировщик их парсит каждый раз?
ME
эти другие файлы лежат в директории с дагами? т.е. планировщик их парсит каждый раз?
Не, в папочке)
ME
Вообще там по дефолту парсятся файлы со словами DAG и airflow.
ME
Если не отключать, то лишнее не будет парсить
ДН
ребяты, подскажите как кто деплоит даги в аирфлуо что в кубирнетесе?
Если меняете редко даги - пересброка контейнера с обновлениями.
Если чаще - pv + ci/cd, или pv + git_sync в инит контейнере
Если чаще - pv + ci/cd, или pv + git_sync в инит контейнере
АЖ
pv + ci/cd - это если перепало счастье с RWX 🙂
ДН
pv + ci/cd - это если перепало счастье с RWX 🙂
Да, важная поправочка)
ay
Если не отключать, то лишнее не будет парсить
ok. спасибо
ME
When searching for DAGs, Airflow only considers python files that contain the strings “airflow” and “DAG” by default. To consider all python files instead, disable the DAG_DISCOVERY_SAFE_MODE configuration flag.
https://airflow.apache.org/docs/stable/concepts.html
https://airflow.apache.org/docs/stable/concepts.html
ME
Вот такая настройка
ME
Я сейчас специально пишу коммент
airflow DAG в начале создания дагов динамических :)ay
When searching for DAGs, Airflow only considers python files that contain the strings “airflow” and “DAG” by default. To consider all python files instead, disable the DAG_DISCOVERY_SAFE_MODE configuration flag.
https://airflow.apache.org/docs/stable/concepts.html
https://airflow.apache.org/docs/stable/concepts.html
ну если подгружать хуки, то 'airflow' там будет
AA
Если не отключать, то лишнее не будет парсить
а ещё .airflowignore есть
VZ
Если меняете редко даги - пересброка контейнера с обновлениями.
Если чаще - pv + ci/cd, или pv + git_sync в инит контейнере
Если чаще - pv + ci/cd, или pv + git_sync в инит контейнере
сразу видно умного и доброго человека, а может есть у тя примеры какие? я сча тут организовываю переезд в кубик и просто хочу собрать все мысли что летают вокруг, очень благодарен буду
T
Xcom
Я правильно понял, что данные из xcom видны всем операторам в даге, а не только следующему за тем, что их положил?