ME
Да, папочка на каждый ран таски, внутри файлик на каждый перезапуск
Size: a a a
2021 May 11
ME
что-то будет на S3 жить, что-то создастся локально и скопируется на S3 тоже когда закончится таска
ME
ещё минут моего способа - он не удаляет папки, там они пустые висят
VS
я к тому, что, если вы удаляете "все кроме текущего", то ок, а если "берем только за какой-то промежуток времени", то тут модет быть множество проблем
ME
а, не, там было удаление всех файлов старше 1 суток
VS
я лично вот так чищу
find /var/log/airflow/ -path "*/2021-02-*"ME
по дате создания фильтр стоял в поиске
ME
за прошлый месяц?
ME
каждый раз динамически ставя дату?
VS
неее, пока руками, по тригеру, когда остается мало места
ME
а, ну тут лучше регулярно, а то логи ппц пухлые)
VS
пока не сделаем какого-то агрегата логов, удалять все нет смысла
ME
у нас за неделю съедало полно места
ME
а, ну вот S3 - хороший вариант) UI сам оттуда подтягиват логи, очень удобно
VS
ну у нас контейнеры в рантайме больше съедают, чем месяц логов
VS
вот месяц назад чистил
ME
у нас была беда, что на машинке аирфлоу зажали диска и там чот 8 гигов на всё было)
ME
а оперативки 32)
ME
я уже думал рамдиск какой сдалать, чтобы не мучаться
VS
сурово, я 100Гб сразу отмеряю на каждый воркер