К сожалению, в чате удаляются ссылки и большие тексты

Да, в докер-компоуз нет инструкции build. Я просто беру ветку puckel/docker-airflow на гитхабе, но проблема в том, что если запускать докер-компоуз, то Airflow не видит библиотеки из requirements.txt, а если отдельно запускать Докерфайл - не запускается.

Sergey Maslow:
Докер-компоуз выглядит так:

version: '3.7'
services:
   postgres:
       image: postgres:9.6
       environment:
           - POSTGRES_USER=airflow
           - POSTGRES_PASSWORD=airflow
           - POSTGRES_DB=airflow
       logging:
           options:
               max-size: 10m
               max-file: "3"

   webserver:
       image: puckel/docker-airflow:1.10.9
       restart: always
       depends_on:
           - postgres
       environment:
           - LOAD_EX=n
           - EXECUTOR=Local
       logging:
           options:
               max-size: 10m
               max-file: "3"
       volumes:
           - ./dags:/usr/local/airflow/dags
           # - ./plugins:/usr/local/airflow/plugins
       ports:
           - "8080:8080"
       command: webserver
       healthcheck:
           test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
           interval: 30s
           timeout: 30s
           retries: 3

Т.е. раз тут нет build, то Dockerfile не запускается, а просто берутся два готовых образа из докер-хаба? Тогда не понимаю, зачем на гитхабе в репозитории puckel/docker-airflow есть докер-файл? Пытался запустить его отдельно не вышло. Сейчас проблема в том, что при запуске текущего докер-компоуз, Airflow не находит библиотеки из requirements.txt.

подключите ваш файл requirements через volumes и все будет работать

volumes:
    - ./requirements.txt:/requirements.txt

в ридми у puckel так советуется

Ну это прямая дорога в ад зависимостей.
Вообще уже давно пора использовать официальный образ

https://airflow.apache.org/docs/apache-airflow/1.10.14/production-deployment.html#extending-the-image

Всем спасибо! Попробую официальный образ.

Смотрите другой. Airflow не дает гарантию на околонулевую latency, задержки шедулера это норма.

К сожалению, не сталкивался, но чат тут может помочь

Добрый день коллеги, хотим в организации для шины данных использовать AirFlow но на этапе знакомства с инструментом столкнулись со следующими ограничениями у технологии, основная проблема - медленный запуск обработчиков, задержка от предыдущего запуска 5-10 секунд, то есть для онлайна и даже псевдоонлайн процессов использовать не получится, слишком медленно. Как думаете если возможность обойти данное ограничение или стоит посмотреть в сторону другого инструмента, если да то буду благодарен за наводку.

Добрый день коллеги, хотим в организации для шины данных использовать AirFlow но на этапе знакомства с инструментом столкнулись со следующими ограничениями у технологии, основная проблема - медленный запуск обработчиков, задержка от предыдущего запуска 5-10 секунд, то есть для онлайна и даже псевдоонлайн процессов использовать не получится, слишком медленно. Как думаете если возможность обойти данное ограничение или стоит посмотреть в сторону другого инструмента, если да то буду благодарен за наводку.

А вы не думали взять какой-нибудь Спарк, как это все делают, и накрутить вокруг него нужный интерфейс? (почему интерфейс, потому что обычно ради него на Аерфлоу смотрят)