если есть возможность, рассмотрите альтернативы

Да я бы с удовольствием на нфс повесил, но в компашке есть необходимость и в самбе по-видимому

Всем привет.
Есть условный DAG из операторов
operator1 -> operator2 -> operator3 -> operator4 -> operator5
Оператор1 читает очередь сообщений и передает сообщение дальше.
Как сделать так, чтобы все операторы выполнялись одновременно, т.е. пока работает оператор4, например, оператор1 уже вычитывал следующее сообщение из очереди.
Мне бы просто хотя бы ключевые слова для гугления. Попытался поискать информацию, но ничего внятного не нашел(

Начать с https://airflow.apache.org/docs/apache-airflow/stable/executor/index.html
Часть экзекьюторов не поддерживает параллельную работу (включая дефолтный Sequential)

А у вас, получается, DAG без расписания и вы его триггерите для каждого ивента в очереди?

Ммм, а это точно задача для airflow?

А не для чего-то для потоковой обработки данных?

Потому и спрашиваю. Если это event-driven сценарий, то, да, airflow не очень для этого подходит

Надо какой-то гайд: чем не является airflow :)

Я, кстати, вот такую любопытную альтернативу видел: https://prefect.io. Кто нибудь использовал? Он может быть и скедулером, а может и решать задачи как у топикстартера. Но я сам не играл с ним.

Тоже видел, но не пробовал)

У них есть чудная статья про проблемы с airflow: https://docs.prefect.io/core/getting_started/why-not-airflow.html

А для задачи той, наверное, можно стримсеты и найфай

Если хочется гуя красивого)

Но ведь деньхи

Core бесплатен. Если его хватает, почему нет.

Если правда круто, то можно и бюджет выбить)

А что более подходит?

Я бы Nifi попробовал :) но я в личку уже ссылку на чатик бросил :)

Ребят. Помогите разобраться.

Airflow локальный на машине с убунтой. У него отдельный venv.

Айпи локальной машины 127.0.0.1

Айпи который я получаю при запуске airflow

logging.info(socket.gethostbyname(socket.gethostname()))

127.0.1.1

Вопрос: что я делаю не так?