ME
Я пока подключил mysql к самому airflow
Size: a a a
2020 July 14
A
да, его достаточно. имеется ввиду что на sqlite не поднимется :)
MR
Andrey
Для тех кто будет искать в истории:
# Whether to load the DAG examples that ship with Airflow. It's good to
# get started, but you probably want to set this to False in a production
# environment
load_examples = True
емнип, там всё не так просто. Если эйрфлоу развёрнут и стартанул с подгруженными examples, то вертеть эту опцию можно до посинения без какого либо результата. Сами даги-примеры располагаются не в dag directory, а где-то там в пакетах эйрфлоу и их придется вычищать руками (актуально для 1.10).
ME
емнип, там всё не так просто. Если эйрфлоу развёрнут и стартанул с подгруженными examples, то вертеть эту опцию можно до посинения без какого либо результата. Сами даги-примеры располагаются не в dag directory, а где-то там в пакетах эйрфлоу и их придется вычищать руками (актуально для 1.10).
А рестарт?
ME
Он же конфиг перечитает
A
А рестарт?
все верно, после рестарта можно спокойно удалять и airfow не ругается, способ проверенный
MR
И будет орать что этот даг в dabag)
MR
т.е. удалить не даст
ME
Хм, а кто сталкивался, что у airflow растут логи?
ME
без особо запусков у шедулера уже пол гига
MR
все)
MR
а что пишет то? и у какой части airflow?
ME
да у нас контейнер с ним растёт, как на дрожжах)
ME
сейчас посмотрел, наверное логи такой рост дают
MR
ну дык там отдельно логи по каждому дагу как минимум, так ещё логи интерфейса и шедуллера
MR
надо смотреть кто там такой объемный, но вообще вполне гуглятся правила logrotate под это дело
ME
Наверное стоит настроить хранение логов на S3 😅
ME
надо смотреть кто там такой объемный, но вообще вполне гуглятся правила logrotate под это дело
а ротация это внутри airflow фича или снаружи тулу надо юзать какую-то?
ME
https://github.com/apache/airflow/issues/8759
а, не, в airflow нет)
а, не, в airflow нет)
MR
а ротация это внутри airflow фича или снаружи тулу надо юзать какую-то?
Концептуально правильно штатным линуксовым logrotate, но есть и такие изделия: https://github.com/teamclairvoyant/airflow-maintenance-dags
