k
Size: a a a
2020 November 16
С
Либо через api можно получить инфу например даграны
С
email_on_retry : true и будет счастье
AB
Ребята, а как правильно поступить. Для того чтобы наладить выгрузку отработанных файлов на удоленный сервер решил писать в бд список отработанных файлов и отмечать в отдельном поле выгружен он или нет. Внимание вопрос: Могу ли я для этих целей использовать бд Airflow или лучше поднять отдельную?
С
Ребята, а как правильно поступить. Для того чтобы наладить выгрузку отработанных файлов на удоленный сервер решил писать в бд список отработанных файлов и отмечать в отдельном поле выгружен он или нет. Внимание вопрос: Могу ли я для этих целей использовать бд Airflow или лучше поднять отдельную?
Имхо лучше поднять отдельную
Но если лень и это не большой список,то можешь и в xcom запихать
Но если лень и это не большой список,то можешь и в xcom запихать
AB
Спасибо
С
Лучше добавь дополнительно логгирование на фтп при работе, условно если ты выгрузил файл то в конечной папке на фтп должен лежать файл +md5 сумма, тогда это success
Все остальные файлы без md5 еще не готовы или не доработали/упали
Все остальные файлы без md5 еще не готовы или не доработали/упали
С
+ конечный заказчик по md5 поймёт корректный ли файл долетел
С
А...у тебя отработанных,ой все,бизнес задача другая, а я тебе про другое
Ушел флудить в другое место
Ушел флудить в другое место
AB
У меня выгрузка информации о совершенных звонках в биллинг
AB
Т. Е. На коммутаторе имеется пул файлов из 1000 штук которые пишут сч поочерёдно. Я последовательно их забираю, обрабатываю, кладу себе в архив и выгружаю на внешний сервер.
AB
Для того чтобы файлы в архиве не перезаписывались решил добавлять к имени текущую дату. Задумался. Как выгружать это на сервер, чтобы избежать дублирования? Решил записывать имена файлов из архива в Бд и после выгрузки помечать как выгпуженые.
AB
Сюткин
Лучше добавь дополнительно логгирование на фтп при работе, условно если ты выгрузил файл то в конечной папке на фтп должен лежать файл +md5 сумма, тогда это success
Все остальные файлы без md5 еще не готовы или не доработали/упали
Все остальные файлы без md5 еще не готовы или не доработали/упали
Идея хорошая. Но мне тогда придётся перебирать все локальные файлы в архиве и проверять наличие хеша на фтп. Можно конечно хранить только данные за сутки, а остальное архивировать.
AB
У меня ещё одно ограничение. Данные о звонке в конечную систему нужно доставить не более чем за 15 минут
С
Все от архитектурного подхода зависит
Можно на фтп создавать каждый день каталог за техническую дату (execution date или бизнес дата)и в неё складывать файлы
Для каждой папки можно создать txt в котором будут имена файлов в каталоге
Мне кажется поднимать отдельную базу слишком жирная задача для 1 дага, если требуется и для других процессов, то имеет смысл поднять и писать hwm
Можно на фтп создавать каждый день каталог за техническую дату (execution date или бизнес дата)и в неё складывать файлы
Для каждой папки можно создать txt в котором будут имена файлов в каталоге
Мне кажется поднимать отдельную базу слишком жирная задача для 1 дага, если требуется и для других процессов, то имеет смысл поднять и писать hwm
S
У меня ещё одно ограничение. Данные о звонке в конечную систему нужно доставить не более чем за 15 минут
А это точно про Airflow? (не конкретно про 15 минут а вот вообще вся задача целиком)
AB
Я не уверен. У меня вначале все было описано в одном скрипте и запускал ось через крон. Потом встал вопрос маштабировать этот подход на 15 филиалов. Решил как то наглядно отобразить процесс так и наткнулся на airflow