EM
и в чем это проявляется? В готовых модулях для всех баз?
в функционале работы с датами, backfill, репроцессинг через clear. то есть изначально закладывается логика "мне нужно будет перезаливать данные в прошлом", что характерно для етл-задач.
Size: a a a
2020 September 14
VS
Вся прелесть airflow - вам не надо изобретать слой метаданных для какого-нибудь DWH, просто потому, что все это есть из коробки
E
Всем привет! Подскажите плз, изучаю аирфлоу. Раньше стоял ssis, вот решил переехать. Такой вопрос, в сисе я мог выстроить непрерывный пайплан "качаем данные из базы а, преобразуем, качаем в б" etl короче. А в аирфлоу столкнулся с тем, что вроде там не получается как-то передать данные между тасками. Т.е. надо скачать данные из а, сохранить в в файлик(s3 или еще что) и дальше из файлика льем в б. Короче аирфлоу что не умеет в инмемори?
Не умеет, можете оперативку смонтировать в tmp - пишите туда файлы. И будет "инмемори" а-ля спарк
БМ
Возьмите просто задачу перелить по ключу данные из А в Б, и попробуйте перезалить данные, просто потому что на источнике А что-то поменялось
ну я и столкнулся с тем, что в промежутке надо писать в локальный цсвшник
VS
ну я и столкнулся с тем, что в промежутке надо писать в локальный цсвшник
вы сначало решите задачу выше в рамках одной таски
VS
и сразу поймете, что такое airflow
VS
Не умеет, можете оперативку смонтировать в tmp - пишите туда файлы. И будет "инмемори" а-ля спарк
а потом другая таска на другом воркере и привет 😬
VS
не надо такое советовать
ME
Припоминаю отличную историю про ЕТЛ на Дженкинсе
Так и на airflow можно ci/cd построить)
E
а потом другая таска на другом воркере и привет 😬
Если там локал экзекьютор - то вполне. Если с умом
VS
Если там локал экзекьютор - то вполне. Если с умом
если бы да кабы
VS
не надо давать антипаттерн советы
БМ
а потом другая таска на другом воркере и привет 😬
и что случится?
VS
ничего, ошибка
ME
и что случится?
У разных воркеров разные папки будут
ME
Возможно, nfs поможет