Так точно, порт меняем. Пользователя в pgboubcer добавляем

Понятно. Спасибо что ответили

Hi just would like know which one is best of the two airflow or prefect for scheduling, workflows. I didn't use any of those just want to learn the user experiences from here

Добро пожаловать в самое дружелюбное комьюнити.

Добро пожаловать в самое дружелюбное комьюнити.

Добро пожаловать в самое дружелюбное комьюнити.

всем привет.
Как попроще извлечь текст ошибки при падении дага для отправки его в телегу.

привет всем, подскажите, нужно ли что-то добавлять в airflow.cfg кроме

[api]
auth_backend = airflow.api.auth.backend.basic_auth

чтобы пользоваться api? Использую версию 2.0

Вот пример запроса get запроса:
http://my_ip/api/v1/config/ c хедерами авторизации и тд

И такой ответ я получаю:
{
   "detail": "The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.",
   "status": 404,
   "title": "Not Found",
   "type": "about:blank"
}

всем привет.
пытаюсь перейти с докер образа puckel 1.10.9 на 1.10.14 свой, и столкнулся с проблемой, что airflow db upgrade все время выдает:

Please install apache-airflow-upgrade-check distribution from PyPI to perform upgrade checks

Несмотря на то, что в докер образе оно успешно устанавливается:

FROM apache/airflow:1.10.14
COPY requirements.txt /tmp
#RUN pip install --no-cache-dir --user -r /tmp/requirements.txt
RUN pip install --no-cache-dir --user apache-airflow-upgrade-check


В чем может быть проблема и что я делаю не так?

привет. мб с версиями питона в контейнере что-то не так? например, что устанавливаешь pip'ом не в ту версию

попробуй открыть терминал в контейнере и вбить
pip3 install --no-cache-dir --user apache-airflow-upgrade-check

спасибо, сейчас попробую

тоже самое, и они указывают на одно и тоже:

airflow@gl-prod-warehouse-sel:/opt/airflow$ pip3 --version
pip 20.2.4 from /usr/local/lib/python3.6/site-packages/pip (python 3.6)
airflow@gl-prod-warehouse-sel:/opt/airflow$ pip --version
pip 20.2.4 from /usr/local/lib/python3.6/site-packages/pip (python 3.6)
airflow@gl-prod-warehouse-sel:/opt/airflow$ pip
pip     pip3    pip3.6  
airflow@gl-prod-warehouse-sel:/opt/airflow$ pip
pip     pip3    pip3.6  
airflow@gl-prod-warehouse-sel:/opt/airflow$ pip3.6 --version
airflow@gl-prod-warehouse-sel:/opt/airflow$ airflow db upgrade

Please install apache-airflow-upgrade-check distribution from PyPI to perform upgrade checks

ну и соответсвенно apache-airflow-upgrade-check Requirement already satisfied:

так. а apache-airflow-upgrade-check запускался? эта штука вроде как нужна для обновы

ну как я понял, это нужно чтобы с 1.10.14 перейти на 2.0...

но я пока и на 1.10.14 перейти не могу)

ну а если запустить, то тоже с ошибкой какой-то падает:

airflow@gl-prod-warehouse-sel:/opt/airflow$ airflow upgrade_check

STATUS

Traceback (most recent call last):
 File "/home/airflow/.local/bin/airflow", line 37, in <module>
   args.func(args)
 File "/home/airflow/.local/lib/python3.6/site-packages/airflow/upgrade/checker.py", line 88, in run
   all_problems = check_upgrade(formatter, rules)
 File "/home/airflow/.local/lib/python3.6/site-packages/airflow/upgrade/checker.py", line 39, in check_upgrade
   formatter.on_next_rule_status(rule_status)
 File "/home/airflow/.local/lib/python3.6/site-packages/airflow/upgrade/formatters.py", line 109, in on_next_rule_status
   print(status_line_fmt.format(rule_status.rule.title, status))
ValueError: Sign not allowed in string format specifier

Всем привет. Подскажите, пожалуйста, может уже есть какой-то FAQ/common problems? Не нашел в описании чата. Я, наверное, не первый сталкиваюсь с тем, что очень много тасок повисает в статусе queued. Может уже известно как лечить?
Спасибо.

Добро пожаловать в самое дружелюбное комьюнити.

Может глупый вопрос, но вы Celery используете?