Size: a a a

2020 September 14

SG

Sergey Gavrilov in Airflow
Под который написана куча тасок на питоне
источник

M

Mikhail in Airflow
точно так же как самолет конкурирует с пароходом, но самолет не плавает, а летает
источник

SG

Sergey Gavrilov in Airflow
Мне кажется, это очень часто встречающийся кейс
источник

M

Mikhail in Airflow
и то и то используется для доставки данных из точки а в точку б
источник

M

Mikhail in Airflow
но по-разному
источник

VS

Vladislav 👻 Shishkov... in Airflow
Борис М
и второе, получается если аирфлоу не про етл и это про другое, то с кем он конкурирует? Я припоминаю был в одной компании дживок орчестра наполовину самописный
с шедулерами
источник

VS

Vladislav 👻 Shishkov... in Airflow
но тут стоит понимать, что airflow специально заточен под работу с данными
источник

БМ

Борис М in Airflow
Vladislav 👻 Shishkov
с шедулерами
:DDD ля я тоже в итоге так и понял :D
источник

БМ

Борис М in Airflow
всем спасибо большое!
источник

VS

Vladislav 👻 Shishkov... in Airflow
т.е. у него есть пайплайны и хранение метаданных, которые специфичны именно в рамках работы того самого ETL
источник

БМ

Борис М in Airflow
Vladislav 👻 Shishkov
но тут стоит понимать, что airflow специально заточен под работу с данными
и в чем это проявляется? В готовых модулях для всех баз?
источник

SG

Sergey Gavrilov in Airflow
Напишите на нём какую-нибудь задачку -- и все встанет на свои места
источник

АЖ

Андрей Жуков... in Airflow
Борис М
и в чем это проявляется? В готовых модулях для всех баз?
В идеологии
источник

EM

Egor Mateshuk in Airflow
Борис М
и второе, получается если аирфлоу не про етл и это про другое, то с кем он конкурирует? Я припоминаю был в одной компании дживок орчестра наполовину самописный
обычно с самописными велосипедами уже построенными в компании) но можно сравнить с Oozie, Luigi
источник

VS

Vladislav 👻 Shishkov... in Airflow
Борис М
и в чем это проявляется? В готовых модулях для всех баз?
это скорее исключение, например захотите пофиксить баг какого-нибудь оператора
источник

БМ

Борис М in Airflow
Sergey Gavrilov
Напишите на нём какую-нибудь задачку -- и все встанет на свои места
та я написал уже какие то банальные тесты
источник

SG

Sergey Gavrilov in Airflow
Сложнее
источник

SG

Sergey Gavrilov in Airflow
Взять, обработать и засунуть куда-нибудь по условию. В 4 и более тасок
источник

VS

Vladislav 👻 Shishkov... in Airflow
Борис М
та я написал уже какие то банальные тесты
Возьмите просто задачу перелить по ключу данные из А в Б, и попробуйте перезалить данные, просто потому что на источнике А что-то поменялось
источник

SG

Sergey Gavrilov in Airflow
Но может вы просто опишите, что вам нужно?
источник