подскажите где почитать про настройку кубэкзекутора?
что-то в доках только общий обзор, а про настройку pod template и всего другого ничего нет

Всем привет. Только начинаю разбираться в Airflow. Поставил, настроил, прицепил Celery как воркер, все вроде работает, тестовые даги работают. Создал свой первый простой даг, в первой функции делаю принт баз данных из mongodb, во второй функции делаю запрос к апи и сохраняю в локальный csv. Обе функции python operator. Захожу в UI, вижу что даг появился и сообщение мол даг поломан, так как нет модуля pymongo. Проходит 5 минут, сообщение пропадает и все начинает работать без проблем. Вопрос: airflow как то сам создает venv для дага и ставит нужные модули? И еще, киньте плиз норм видос для начинающих посмотреть на ваш взгляд или что почитать кроме офф доков. Пока не понял до конца про хуки, плагины. Спасибо

По доке куба нежелательно вообще создание пода напрямую, только через управляемую абстракцию желательно.

ты про deployment и т.д.?

ну это деплой в куб самих компонентов (веб-сервер и шедулер), а я про шаблон пода, который k8s executor под задачи стартует

ты же не можешь для статичной таски деплоймент поднять

Все норм, эйр с задержками обновляет все свои classpath’ы, парсит файлы с дагами и пр. Проще всего перезапустить его, если и после перезапуска все останется - ищи ошибку

Вообще нет такого понятия - статичная таска.
Впрочем, именно так мы и поступаем: поднимаем для каждой таски свой отдельный джоб

Спасибо, я так и понял что это лаг временной у него. А на счет видео/почитать есть советы?

Вообще нет такого понятия - статичная таска.
Впрочем, именно так мы и поступаем: поднимаем для каждой таски свой отдельный джоб

Думаю, имеется ввиду: kunernetesOperator. Где описание pod который он использует.

Kubernetespodoperator

Иногда встречаются годные статьи на астрономере, медиуме

ну джоб - да, согласен
а что можно в pod-template.yaml любой примитив воткнуть?