Size: a a a

2020 September 14

БМ

Борис М in Airflow
Egor Mateshuk
идея в том, что Airflow отделяет построение пайплайнов обработки данных от самих ETL-инструментов. то есть в Airflow описывается что и когда делать, а движок, который будет эти данные таскать в рамках отдельных тасок выбираете сами. если конкретный движок что-то не может - берете другой, а пайплайны при этом продолжаете спокойно лепить в Airflow.
ну т.е. да, хрон на максималках)
источник

VS

Vladislav 👻 Shishkov... in Airflow
именно поэтому, airflow, как ETL - говно
источник

M

Mikhail in Airflow
как правило airflow используется в ELT сценариях
источник

VS

Vladislav 👻 Shishkov... in Airflow
как крон, как пайплайн - он силен, но как ETL, он слишком костылен
источник

БМ

Борис М in Airflow
Ну вот получается да, что чтоб оно работало как етл - надо долго и с душой писать свое
источник

SG

Sergey Gavrilov in Airflow
Борис М
т.е. просто сувать данные в переменную внутри таска?
Это будет происходить при любом сценарии работы Аерфлоу. Кроме того, где код выполняет, например, Спарк.
источник

SG

Sergey Gavrilov in Airflow
Но там придется самому сначала этот ETL-процесс написать)
источник

EM

Egor Mateshuk in Airflow
Vladislav 👻 Shishkov
именно поэтому, airflow, как ETL - говно
он не ETL-движок вообще. это как сказать кубер как ETL - говно. или что зукипер как ETL - говно.
источник

VS

Vladislav 👻 Shishkov... in Airflow
Egor Mateshuk
он не ETL-движок вообще. это как сказать кубер как ETL - говно. или что зукипер как ETL - говно.
спасибо кэп, выше не верят
источник

SG

Sergey Gavrilov in Airflow
Припоминаю отличную историю про ЕТЛ на Дженкинсе
источник

VS

Vladislav 👻 Shishkov... in Airflow
по сути, в airflow никто не мешает стартовать те же сисы или пентахи
источник

VS

Vladislav 👻 Shishkov... in Airflow
другое дело, что они должны быть самодостаточны
источник

БМ

Борис М in Airflow
и последние 2 вопроса, если можно. Скорее всего есть всякие гит где люди пишут самопильные модули, есть ли централизованный сайт с таким?
источник

VS

Vladislav 👻 Shishkov... in Airflow
нет
источник

SG

Sergey Gavrilov in Airflow
Неа
источник

VS

Vladislav 👻 Shishkov... in Airflow
и готовьтесь морально к тому, что скорее всего вы будете переписывать/переопределять стандартные операторы по тем или иным причинам
источник

БМ

Борис М in Airflow
и второе, получается если аирфлоу не про етл и это про другое, то с кем он конкурирует? Я припоминаю был в одной компании дживок орчестра наполовину самописный
источник

M

Mikhail in Airflow
Борис М
и второе, получается если аирфлоу не про етл и это про другое, то с кем он конкурирует? Я припоминаю был в одной компании дживок орчестра наполовину самописный
с етл конкурирует
источник

SG

Sergey Gavrilov in Airflow
С распределённым кроном
источник

M

Mikhail in Airflow
но он не делает етл
источник