Size: a a a

2021 March 01

VK

Vasiliy Kashirin in Airflow
Всем привет! Только начал разбираться с AirFlow, послушал курс от Marc Lamberti на Udemy, но вопросов осталась уйма. Подскажите, плиз, есть ли хорошие курсы/книги? Задачи - взаимодействовать с контейнерами (запускать/тормозить), забирать из них либо файлы либо json
источник

Н

Николай in Airflow
По аирфлоу курсы есть? Внезапно
источник

AM

Andrey Matvienko in Airflow
Vasiliy Kashirin
Всем привет! Только начал разбираться с AirFlow, послушал курс от Marc Lamberti на Udemy, но вопросов осталась уйма. Подскажите, плиз, есть ли хорошие курсы/книги? Задачи - взаимодействовать с контейнерами (запускать/тормозить), забирать из них либо файлы либо json
на datacamp очень хороший стрим по эирфлоу
источник

VK

Vasiliy Kashirin in Airflow
Andrey Matvienko
на datacamp очень хороший стрим по эирфлоу
Introduction to Airflow in Python?
источник

VK

Vasiliy Kashirin in Airflow
сегодня начал бесплатную часть как раз
источник

AM

Andrey Matvienko in Airflow
Vasiliy Kashirin
Introduction to Airflow in Python?
да, он
источник

AM

Andrey Matvienko in Airflow
Vasiliy Kashirin
сегодня начал бесплатную часть как раз
погуглите промики, там можно на год за 100 баксов подписку взять, отличный ресурс
источник

VK

Vasiliy Kashirin in Airflow
если, как говорите, оно того стоит, то 12$ за месяц не такая уж проблема. главное чтобы процесс шел!
источник

AM

Andrey Matvienko in Airflow
Vasiliy Kashirin
если, как говорите, оно того стоит, то 12$ за месяц не такая уж проблема. главное чтобы процесс шел!
для введения точно стоит, а дальше уже рабочий опыт + документация имхо
мб кто-то более углубленный курс подскажет
источник

VK

Vasiliy Kashirin in Airflow
Andrey Matvienko
для введения точно стоит, а дальше уже рабочий опыт + документация имхо
мб кто-то более углубленный курс подскажет
в любом случае большое спасибо!
источник
2021 March 02

ЮЛ

Юрий Лифанов... in Airflow
Всем привет. В случае если в  PythonOperator есть логгер из модуля logging, и он логирует в stdout, где я могу глянуть логи?
источник

ЮЛ

Юрий Лифанов... in Airflow
Airflow поднят в контейнере
источник

ME

Max Efremov in Airflow
Логи пишутся в контейнере
источник

ME

Max Efremov in Airflow
Можно на s3 их закинуть
источник

ME

Max Efremov in Airflow
Или пробросить папку с логами в хост машину
источник

ME

Max Efremov in Airflow
И из самого аирфлоу тоже можно смотреть
источник

SC

Stanislav Chernov in Airflow
Привет всем!
Не могу понять что происходит... задал расписание  каждую минуту с 3 до 20 часов ежедневно в шедулер...
А при запуске DAG генерирует кучу тасков и выполняет их...
Почему не один раз запускается, кто подскажет ?
источник

ИК

Илья Китов in Airflow
Stanislav Chernov
Привет всем!
Не могу понять что происходит... задал расписание  каждую минуту с 3 до 20 часов ежедневно в шедулер...
А при запуске DAG генерирует кучу тасков и выполняет их...
Почему не один раз запускается, кто подскажет ?
Он от Start_date пляшет
источник

SC

Stanislav Chernov in Airflow
Точно, да
источник

SC

Stanislav Chernov in Airflow
А как засунуть туда текущее время?
источник