PA
ну и конечно гит
ну мне непонятно в чем сложность то?
у меня есть опты как на гугл клауде со стораджем и папкой в нем куда после коммитта автопулится даг,
есть опыт со стандалоун аирфлоу без докера с папкой и gfuse
Size: a a a
2020 September 21
AM
Хороший опыт надо обязательно передать, взять на вооружение. Изначально вставал вопрос, зачем нужна конференция. Вот зачем
PA
изначально воспринял ваш коммент как стеб
AM
Ну тема доставки ДАГов, не тривиальна, как кажется на первый взгляд
PA
не спорю
ME
подкажите развернут другая база в posgresql в docker там же pgadmin
знаю как выпонять airflow задания по загрузке базы
а как в airflow на хостовой машине выполнить задачу
для докеризированного posgresql
знаю как выпонять airflow задания по загрузке базы
а как в airflow на хостовой машине выполнить задачу
для докеризированного posgresql
Пробросить порт контейнера на машину и подключиться
2020 September 22
VS
Как мы оркестрируем процессы обработки данных с помощью Apache Airflow
https://habr.com/ru/post/518620/?utm_source=habrahabr&utm_medium=rss&utm_campaign=518620
Tags: Блог компании Lamoda, Python, Big Data, Hadoop, Data Engineering, bid data, apache airflow, hadoop, hive, spark, python
Author sowow359 #habr
https://habr.com/ru/post/518620/?utm_source=habrahabr&utm_medium=rss&utm_campaign=518620
Tags: Блог компании Lamoda, Python, Big Data, Hadoop, Data Engineering, bid data, apache airflow, hadoop, hive, spark, python
Author sowow359 #habr
K
Каеф
SS
приветики!
а как сейчас надо правильно организовывать вызов дочерних дагов из основного дага? наилутшие практические практики?
а как сейчас надо правильно организовывать вызов дочерних дагов из основного дага? наилутшие практические практики?
SS
пацаны на раене говорили про какие-то саб-даги
SS
или правильно делать независимые дочерние даги, у которых настроен сенсор на родительский даг?
ME
смотря что надо, наверное... У нас и сабдаги есть и экстёрнал даг операторы
マサ
Мы работаем за рамками одного инстанса эйрфло, так что написали свой велосипед - внешнюю хранилку посчитанных партиций в источниках, на который завязываемся через sql sensor в downstream-дагах
SS
Мы работаем за рамками одного инстанса эйрфло, так что написали свой велосипед - внешнюю хранилку посчитанных партиций в источниках, на который завязываемся через sql sensor в downstream-дагах
у вас ни разу не было проблем с сенсорами? что они не срабатывали?
я год назад с эйрфлоу плотно работал, сенсоры были нестабильны
я год назад с эйрфлоу плотно работал, сенсоры были нестабильны
С
у вас ни разу не было проблем с сенсорами? что они не срабатывали?
я год назад с эйрфлоу плотно работал, сенсоры были нестабильны
я год назад с эйрфлоу плотно работал, сенсоры были нестабильны
Так можно свои написать
ДН
Как мы оркестрируем процессы обработки данных с помощью Apache Airflow
https://habr.com/ru/post/518620/?utm_source=habrahabr&utm_medium=rss&utm_campaign=518620
Tags: Блог компании Lamoda, Python, Big Data, Hadoop, Data Engineering, bid data, apache airflow, hadoop, hive, spark, python
Author sowow359 #habr
https://habr.com/ru/post/518620/?utm_source=habrahabr&utm_medium=rss&utm_campaign=518620
Tags: Блог компании Lamoda, Python, Big Data, Hadoop, Data Engineering, bid data, apache airflow, hadoop, hive, spark, python
Author sowow359 #habr
круть!
I
у вас ни разу не было проблем с сенсорами? что они не срабатывали?
я год назад с эйрфлоу плотно работал, сенсоры были нестабильны
я год назад с эйрфлоу плотно работал, сенсоры были нестабильны
А нестабильны это как?