Возможно

Добро пожаловать в самое дружелюбное комьюнити.

У меня свой оператор который передаёт данные из oracle в postgres, соответственно он выполняется одним таском.
Кто нибудь знает как можно задать на один таск два пула. Чтобы источник был отнесён к пулу источника, а приёмник соответственно к пулу приёмника?

А как вы представляете себе, что один таск наполовину выполняется в одном пуле, а другая половина в другом?

Пополам никак, я представлял, что может можно просто чтобы один таск занял слот и в одном и в другом пуле

Типо через запятую два пула указать))

Можете попробовать, но поведение будет не то, которое вы ожидаете

Вроде через сабдаг как-то можно решить, но что-то мне подсказывает, что смысла в этом нет

Похоже на то

А пул только таску присваивается да? На хук его повесить нельзя?

Ага. Пул ограничивает сколько тасков можно ставить в очередь.

У нас use case такой: есть таски, выполняющие запрос к бд на обновление партиций для определённых таблиц, но есть лимит от сервиса на одновременное выполнение операций, поэтому такие таски просто складываются в пул, чтобы они не съедали место на воркерах, зависая в try-except-sleep

Получается, пул создаёте для конкретного таска, а не для конкретной БД?

Нет, пул назначается таску, просто у нас это свелось до запросов к определённой БД

Вот да, я просто только разворачиваюсь, и хочу сразу продумать как лучше, для тасков или для бд пулы создавать

Наверное для БД самое оптимальное, чтобы не загрузить сервис, получается что в случае например,создания нового дага по миграции за большой период распараллелить таски можно, и при этом не помешают какие-нибудь старые таски которые уже к этому же БД обращаются.
Вот только вопрос какому таску какой приоритет раздавать тут у меня затык)

Заметил что добавили BranchDayOfWeekOperator, может кому то будет полезен.

https://github.com/apache/airflow/pull/13997

Всем привет. Я захотел начать контрибьютить в airflow и столкнулся с тем, что если я запускаю тесты через pytest то большинство ломается из-за импортов.

Сейчас например не могу установить модуль kerberos. Сижу на 18 убунте через виртуалку.

Кто-нибудь может помочь мне?

а через докер не работает тоже?

не пробовал. есть какие-то готовые образы для разработки или просто создать убунту и вручную всё устанавливать?

airflo docker dev ?

Я не понимаю как потом из контейнера делать PR. Сейчас у меня хотя бы форк на руках и могу править исходники, а в докере будет последняя версия кода?