AB
Гуй аэрфлоу, логи и т.д. будут при таком подходе?
Size: a a a
2020 December 12
M
Гуй аэрфлоу, логи и т.д. будут при таком подходе?
а куда он денется?
2020 December 13
VC
Привет
Не подскажете, как из PythonVirtualenvOperator записать что-то в БД?
- Кастомных хуков он не видит и через requirements их не прокинуть
- xcom не работает с ним как с обычным оператором и вытащить данные не получается
обычный PythonOperator не хотелось бы использовать, чтобы не засорять env либами
Не подскажете, как из PythonVirtualenvOperator записать что-то в БД?
- Кастомных хуков он не видит и через requirements их не прокинуть
- xcom не работает с ним как с обычным оператором и вытащить данные не получается
обычный PythonOperator не хотелось бы использовать, чтобы не засорять env либами
2020 December 14
IK
Это нормально что он так часто считывает файл?
IK
да, поменял MIN_FILE_PROCESS_INTERVAL стало получше
マサ
Да, там в шедулере под капотом работает отдельный тред, который по while-true обрабатывает даги с файловой системы и складывает в базу. Чем больше дагов, тем больше интервалы между считываниями. Вроде как есть возможность задать руками интервал, но это неточно
IK
а есть команда для принудительного рефреша папки с дагами? Чтоб интервал выставить побольше, а когда что-то прогаешь можно было руками обновлять
SG
Выставите интервал побольше
SG
а есть команда для принудительного рефреша папки с дагами? Чтоб интервал выставить побольше, а когда что-то прогаешь можно было руками обновлять
Честно говоря, никогда не встречал. Но в принципе можно сервак ребутнуть)))
SG
env AIRFLOW__SCHEDULER__MIN_FILE_PROCESS_INTERVAL=10
Ну или, как вы понимаете, в конфиг файле можно выставить
Ну или, как вы понимаете, в конфиг файле можно выставить
マサ
а есть команда для принудительного рефреша папки с дагами? Чтоб интервал выставить побольше, а когда что-то прогаешь можно было руками обновлять
Сейчас в кишках эйрфло закодено так, что процессинг файлов является частью scheduler_job, который суть базовый процесс шедулера. Команды через api нету, но думаю можно попробовать дернуть вручную этот самый scheduler_job, как делает это шедулер. Но это темная дорожка, все на свой страх и риск только в случае крайней нужды, как говорится)
GB
Честно говоря, никогда не встречал. Но в принципе можно сервак ребутнуть)))
python -c "from airflow.models import DagBag; d = DagBag();"GB
а есть команда для принудительного рефреша папки с дагами? Чтоб интервал выставить побольше, а когда что-то прогаешь можно было руками обновлять
Это совсем не точно, но может быть ещё
airflow list_dags рефрешитIK
python -c "from airflow.models import DagBag; d = DagBag();"Не сработало. КОманда прошла и даже вроде написал
Filling up the DagBag from /opt/airflow/dags
GB
Не сработало. КОманда прошла и даже вроде написал
Filling up the DagBag from /opt/airflow/dags
Имеет смысл попробовать добавить вызов collect_dags тогда https://airflow.readthedocs.io/en/stable/_api/airflow/models/dagbag/index.html#airflow.models.dagbag.DagBag.collect_dags
A
вроде не так много фиксов пришло, но главный вопрос сколько багов пришло :D
IK
так вроде уже 2.0rc2 выкатили
AA
Это совсем не точно, но может быть ещё
airflow list_dags рефрешитНеа, не рефрешит