Не, ну если там есть официальные рекомендации - затея спорная)

а где рекомендация? давайте почитаем вместе и просветимся)

Можно. Юзаем на сингл ноде)

Я рекомендаций сейчас не нашёл

спасибо тебе, добрый человек

Всем привет! А кто-то может объяснить или кинуть ссылку где почитать (в документации очень плохо описано), что такое slot, pool, в чем разница между slot и worker. Меня интересует именно на уровне что это под капотом:  количество воркеров это количество процессов на машине или вообще Воркер это отдельная машина

Воркер – запущенный процесс, который будет выполнять таски Airflow. У тебя их может быть запущено несколько на одной машине (самый простой пример – docker-compose). Можно и на нескольких машинах – им только нужно знать, где очередь и база, ну и доступ к дагам иметь.

У воркера есть свои слоты – это количество тасков, которые он может выполнять одновременно. Например, у тебя тяжелые таски, которым нужны все выделенные ресурсы, ты запускаешь воркеров с одним слотом.

Пул airflow – создаваемое тобой ограничение на количество одновременно запущенных танков вне зависимости от того, к какому дагу они принадлежат (например, у тебя есть ограничение на выполнение одновременных операций в базе, чтобы таски не сидели в try-except, ограничиваешь размер пула, а таскам, к базе обращающимся, ставишь pool=mydb_pool). Ну а в этом пуле слот = таск

Большое спасибо!!

Кстати, тут вроде ещё не было:
Airflow Summit 2021 пройдёт с 8 по 16 июля

https://airflowsummit.org/

А как сделать несколько воркеров на 1 машине ?

Не очень понял вопрос)
Это зависит от того, как развёрнут Airflow, какой Executor (есть экзотические типа запуска таска в AWS ECS)

У меня на debian10, celeryexecutor + redis

В docker-compose?

без докера

Вот кстати не знаю, сработает ли запуск ещё одного воркера просто вторым процессом: логи с них тянутся по хостнейму и порту, получится, что у двух воркеров одинаковые хосты и порты, они скорее всего поругаются ещё при запуске второго воркера. Но я могу ошибаться, просто никогда так не делал.

В идеале просто перейти на docker-compose. Взять тот же официальный из доки (часто скидываю тут ссылку), ну и добавить к docker-compose up аргумент scale https://docs.docker.com/compose/reference/up/

Ясно, спасибо.
docker-compose.yml у меня есть...
Но не хочу я чтобы в докере это всё крутилось...

Почему?

Не знаю, а в чем Профит?

Проще контролировать ресурсы, возможность изолировать сервисы в своей сети, healtcheck-и и много всего другого

Ну не знаю
.... Без практической оценки ...
Зачем изолировать сервисы? Все в одной локалке висит, хелс чек - у меня в телегу алерт прилетает каждый день, перед запуском всех дагов, если не прилетел - алярм