マサ
И проблема на этапе запуска алембика, а не где-то в airflow
Size: a a a
2020 July 26
2020 July 27
SG
Похоже на проблемы с сетью
SG
Выглядит как их проблема, да
BM
Всем привет! подскажите пожалуйста, у кого-нибудь есть пример рабочего оператора ExternalTaskSensor
RK
Boris M
Всем привет! подскажите пожалуйста, у кого-нибудь есть пример рабочего оператора ExternalTaskSensor
Он такой же как и в документации https://airflow.apache.org/docs/stable/howto/operator/external.html
Тут может быть вопрос в том, что у дагов могут быть разное время запуска, то тогда нужно сделать поправку добавив timedelta в execution_delta. Без этого он никогда не увидит нужный таск
Тут может быть вопрос в том, что у дагов могут быть разное время запуска, то тогда нужно сделать поправку добавив timedelta в execution_delta. Без этого он никогда не увидит нужный таск
SK
Всем привет 👋
SK
SK
Статья коллеги, с которым внедряли Airflow совместно
SK
Статья коллеги, с которым внедряли Airflow совместно
Все фичи и интересные вещи уже он доделывал (на все ушло около 1 года … силами 2 DE, с ноября одним)
VS
Не раскрыли один из главных элементов - requirements.txt
VS
и все таки, airflow - не ETL инструмент...
SK
и все таки, airflow - не ETL инструмент...
Оркестратор
VS
это крон на стеройдах, который заточен под идемпотентную работу благодаря встроенным мета-данным
VS
etl там не больше, чем в любом ЯП
DL
это крон на стеройдах, который заточен под идемпотентную работу благодаря встроенным мета-данным
И зачастую этого достаточно