А
чтобы можно было разделить на шаги, так вроде проще отлавливать исключения, т.е. если какая-то одна из бд не отвечает, то сразу видно по таскам какая
Size: a a a
2021 January 27
А
но сейчас у меня это все в одном таске
ME
Александр
Всем доброго времени суток. Я сейчас начал изучать airflow, можете, плиз, подсказать, как правильно создать dag, который будет забирать данные из одной БД в другую. Сейчас у меня это все прописано в одной функции и соответственно один таск, в котором я подключаюсь к одной БД, сохраняю в pandas и передаю это дело в другую БД. Я бы хотел это реализовать двумя тасками, первый который забирает данные, а второй который сохраняет данные. Но никак не пойму как передать данные из одной функции в другую.
Сдампить базу, потом импортнуть
IK
Слил в файл, потом из файла в другую и удалил файл
А
вот подумал что это может не совсем корректно
ME
А куда дампить зависит от фантазии, у нас это s3
BG
Александр
но сейчас у меня это все в одном таске
что насчёт логгирования?
А
ну т.е. через промежуточный файл получается
ME
Сдампить базу, потом импортнуть
А если дампить штатными средствами базы это ещё и быстрее будет)
А
логирование тоже как вариант, но так на картинке сразу подсвечивается проблемный таск
IK
У меня есть даги из 1 таски примерно с тем же посылом, получить по апи и отправить в бд. Данных не много поэтому стримить в файлы не нужно
IK
Пока никаких проблем не встречал с их дебагом
А
а имя файла можно передавать из одного таска в другой, т.е. я создал имя с временной меткой в таске где получаю информацию, а как это имя передать второму и третьему таску
ME
xcom
А
У меня есть даги из 1 таски примерно с тем же посылом, получить по апи и отправить в бд. Данных не много поэтому стримить в файлы не нужно
у меня аналогичная задача, я просто подумал может ее как-то по красивей реализовать, пока изучаю этот инструмент
IK
Там можно и данные через xcom слать
ME
Там можно и данные через xcom слать
смотря сколько данных
ME
Но оно не для данных по идее, а для метаинформации
IK
От бд зависит которая на беке аирфлоу