R
я только в worker ставлю
Size: a a a
2021 May 11
VS
-delete вместо -exec будет работать шустрее
ME
надо везде
ДЖ
Поставил, перезапустил контейнер, безрезультатно:
ДЖ
File "/home/airflow/.local/lib/python3.6/site-packages/pandas/io/formats/excel.py", line 730, in write
writer = ExcelWriter(stringify_path(writer), engine=engine)
File "/home/airflow/.local/lib/python3.6/site-packages/pandas/io/excel/_openpyxl.py", line 18, in init
from openpyxl.workbook import Workbook
ModuleNotFoundError: No module named 'openpyxl'
writer = ExcelWriter(stringify_path(writer), engine=engine)
File "/home/airflow/.local/lib/python3.6/site-packages/pandas/io/excel/_openpyxl.py", line 18, in init
from openpyxl.workbook import Workbook
ModuleNotFoundError: No module named 'openpyxl'
ME
поэтому проще один раз образ сделать и всё
VS
и очистка конечно стремная, а как же текущие открытые записи?
ME
хм, раньше оно вроде брало только суточной давности...
ME
куда-то это продолбалось)
VS
по команде оно берет все файлы
ДЖ
А если новые dag потребуют новых пакетов, каждый раз пересобирать образ?
ME
ну да
ME
это же не особо часто?
VS
а вы учитываете старые записи при пересчете/перезапуске дагов в истории?
ME
м? в каком плане старые записи?
ME
У нас логи на s3 хранятся, оттуда и подтягиваются, когда надо
VS
ну допустим, у вас есть даг с тасками, который уже работает год, вы чистите логи и присутствуют там только текущие, если надо перезапустить даг за прошлый год, то для каждой таски создаться повторно все папки/логи в истории за последний год
ME
главное да, не потереть текущий открытый файл, это верно
ME
хм, при перезапусках оно вроде новые создаёт просто, 1, 2, 3 и т.д.
VS
если у вас ежедневный даг, то за каждый день будет создаваться лог