Разворачивается-то без проблем. А вот писать к нему source, sink и обработчики на питоне - вообще никакой информации не найти

Хм, а после обновления до 13 версии на 3.8 обратно на 10 с 3.7 уже не уйти, да?) Там пикл протокол поменялся 😂

А, не, просто главная вебсервера не грузится, шикарно...

где почитать можно про нововведения?

Бля, ну, а работать-то будет???)))

Пока работает

У кого?)))

На тестовом серваке

Support for Custom XCom Backends

топ

Мне понравился TaskFlow API

А когда планируют 2.0 релизить, не знаете?

Там есть роадмэп

Сейчас вроде 63% готово

Всем привет. Только начинаю разбираться в Airflow. Поставил, настроил, прицепил Celery как воркер, все вроде работает, тестовые даги работают. Создал свой первый простой даг, в первой функции делаю принт баз данных из mongodb, во второй функции делаю запрос к апи и сохраняю в локальный csv. Обе функции python operator. Захожу в UI, вижу что даг появился и сообщение мол даг поломан, так как нет модуля pymongo. Проходит 5 минут, сообщение пропадает и все начинает работать без проблем. Вопрос: airflow как то сам создает venv для дага и ставит нужные модули? И еще, киньте плиз норм видос для начинающих посмотреть на ваш взгляд или что почитать кроме офф доков. Пока не понял до конца про хуки, плагины. Спасибо

Сам airflow никаких venv не создает, только если вы PythonVirtualenvOperator не используете, тогда ваш PythonOperator в своем venv будет работать

Ясно, спс

У Олежи спроси :)

Все норм, эйр с задержками обновляет все свои classpath’ы, парсит файлы с дагами и пр. Проще всего перезапустить его, если и после перезапуска все останется - ищи ошибку