Я тут по счастливой слуайности пример композ-окружения недавно в репозитории собрал:
https://github.com/Newander/sample_for_jetbrains_error_2899470

А пример конфигурации запуска добавил. Засовывается в project/.idea/runConfiguration

Всем привет! Ребят, есть у кого опыт поднятия airflow за проксёй? У меня на данный момент следующая проблема: при обращении к гую пишет
Bad Request
Contradictory scheme headers

Виртуальное окружение изолирует пакеты, но тут уж как хочется

Всем привет! Есть ли тут кто-то, кто эксплуатирует Airflow на одной ноде с LocalExecutor? Вопросы следующие:
1. Наблюдаете ли вы "синхронное" выполнение задач? То есть если есть какой-то даг с очень долгими тасками, то пока не закончится долгий таск, другие таски не ставятся в очередь и не запускаются.
2. Можете посмотреть логи вашего шедулера - нет ли там перезапусков? Наш шедулер оформлен сервисом на убунте и, судя по логам, он раз в несколько часов сам перезапускается. Нормально ли это?

Бывает так, что приходит ООМ и прибивает шедулер. Вообще, это нехорошо, особенно с учётом LocalExecutor, т.к. прибиваются и все таски, которые в этот момент работают.

Таски работающие продолжают работать при этом, что странно..

А как определить, что это OOM? Он в syslog пишет что-нибудь перед этим? По мониторингу на сервере ещё много свободной памяти..

да, в syslog должен писать. Если памяти много, то не оно, скорее всего

В syslog ничего подозрительного не вижу..

1 - нет, всё ок
2 - вроде не замечен

А вот такие сообщения не появляются? А как установлен Airflow - внутри venv или system-wide? Airflow устанавливался руками или через какие-то докер-образы или Ansible-плейбуки?

нет, venv, руками

Поначалу были такие сообщения, но после перезапуска перестали появляться, решили, что дело в сети до базы метаданных (mysql)

хм.. спасибо, буду ковырять логи дальше

но у нас и нагрузка совсем небольшая

ну а есть таски, длительность которых измеряется часами?

Буквально все остальные за это время пробегают

интересно, что же у нас не так сконфигурено..