M
Size: a a a
2021 March 15
SK
а как нибудь это обойти есть способ?
ME
Всем привет! Кто может проконсультировать по построению Datalake системы на Airflow (и заодно пояснить чем он лучше Kubeflow и Luigi )
аирфлоу это не про пайплайны или ETL, это про оркестрацию процессами, как cron, только продвинутый
В
аирфлоу это не про пайплайны или ETL, это про оркестрацию процессами, как cron, только продвинутый
В Kubeflow вообще оркестрация в виде контейнеров (на каждую задачу отдельный контейнер)
ME
В Kubeflow вообще оркестрация в виде контейнеров (на каждую задачу отдельный контейнер)
не, ну можно в аирфлоу заюзать кубернетис экзекьютор, будет по поду на каждую таску)
ME
Но в самом аирфлоу данные обычно не гоняют
ME
а дёргают из него сторонние системы - базы, спарк, ещё что-то
ME
для пайплайнов - стримсеты, найфай ещё можно, например.
В
для пайплайнов - стримсеты, найфай ещё можно, например.
Что тут имеете в виду
ME
Что тут имеете в виду
Ну т.е. ETL на пайплайновых тулах: берём источник данных, считываем в систему данные, дальше применяем трансформации последовательно, выкладываем куда-то ещё.
ETL в airflow: проверяем сенсором, что есть данные в источнике, триггерим какую-то систему, которая считает, трансформирует и запишет данные на диск, триггерим базу, чтобы взяла в себя данные из локации выхода прошлой системы, рапортуем об успехе дага
ETL в airflow: проверяем сенсором, что есть данные в источнике, триггерим какую-то систему, которая считает, трансформирует и запишет данные на диск, триггерим базу, чтобы взяла в себя данные из локации выхода прошлой системы, рапортуем об успехе дага
ME
Т.е. сам аирфлоу например не задизайнен, чтобы передавать данные между своими тасками, только метаинформацию.
ME
Можно сделать, но это будет уже не эффективное применение инструмента
M
а как нибудь это обойти есть способ?
зачем?
ME
А чем лучше airflow чем Luigi кроме того что есть свой планировщик вместо крона ?
мне кажется, луиджи больше как ETL - взяли, преобразовали, положили. А аирфлоу про управление всем и отслеживание результатов. Плюс планировщик с бэкфилингом и прочим.