L
Tweet from Apache Airflow (@ApacheAirflow):
Hi Airflow'ers if you all have any suggestions for how we could improve docs for Airflow 2.0 please give your feedback here: https://t.co/LpMUU3YQhr 📚
[permalink]
Size: a a a
2020 September 22
V💊
народ, а расскажите для чего вы используете аирфлоу? часто вижу его в вакансиях, а юзкейсов придумать для него не могу
ME
народ, а расскажите для чего вы используете аирфлоу? часто вижу его в вакансиях, а юзкейсов придумать для него не могу
Управление etl
С
Оркестратор
AT
Сюткин
Оркестратор
человек-оркестр 😜
SG
народ, а расскажите для чего вы используете аирфлоу? часто вижу его в вакансиях, а юзкейсов придумать для него не могу
Запуск скриптов, которые льют данные с внешних сервисов в хранилище. Сервисные джобы а-ля проверка пермишонов в БД. Какой-то лайтовый мониторинг других сервисов.
V💊
Запуск скриптов, которые льют данные с внешних сервисов в хранилище. Сервисные джобы а-ля проверка пермишонов в БД. Какой-то лайтовый мониторинг других сервисов.
а в чем преимущество над условным кронтабом?
SG
а в чем преимущество над условным кронтабом?
Мониторинг и контроль за работой через веб-морду, куча интеграций для складирования результатов выполнения или алертов, можно переехать в докеры, если становится слишком много зависимостей.
M
а в чем преимущество над условным кронтабом?
веб-интерфейс, метаданные, возможность сделать backfill или перезапустить процессинг какого-то отдельного куска
DS
а в чем преимущество над условным кронтабом?
Не совсем корректно сравнить. Крон это малая часть Airflow. Может 1% от функционала.
V💊
Не совсем корректно сравнить. Крон это малая часть Airflow. Может 1% от функционала.
вот у меня собственно сейчас проблема в том, что почти всё, что я нахожу из инфы по нему, это описание задач с которыми крон/селери справится и без аирфлоу. а про остальное инфы как-то не очень много
С
Airflow это не етл,airflow это красивый шедулер с своими примочками
С
Тут много уже обсуждалось на эту тему
ME
вот у меня собственно сейчас проблема в том, что почти всё, что я нахожу из инфы по нему, это описание задач с которыми крон/селери справится и без аирфлоу. а про остальное инфы как-то не очень много
да было бы желание, можно и на баше всё написать)
ME
У аирфлоу плюсом будет красивый UI, где можно следить за процессами, статусами их, перезапускать
ME
На прошлом проекте я такое с нуля сам писал >_<
ME
ну, не совсем такое, но суть та же, мониторинг и оркестрация ETL
DS
вот у меня собственно сейчас проблема в том, что почти всё, что я нахожу из инфы по нему, это описание задач с которыми крон/селери справится и без аирфлоу. а про остальное инфы как-то не очень много
Cron, celery, jinja, возможность строить пайплайны любой сложности с возможностью ручного и автоматического запуска, отслеживание, перезапуск, дозапуск пайплайнов и их частей через web UI.