На с3 логи кидаются в конце, а так он пытается подключиться на воркер и оттуда взять

Там вебсервер для логов крутится

У селери так, по крайней мере, мы когда в кубер его пихали, немного с этим смотрели, чтобы коннектилось

Там по дефолту он по доменному имени пытается, но можно включить по ip

Не выглядит как нечто неподъёмное. Строк кода бывало и больше. Дело думаю не в этом.

Сколько тасочек. Какой они величины. Есть пулы, веса. Не понятно в чем м проблема. 2к строк дага парсятся нормально.

Всем привет, подскажите, пожалуйста у меня даг формируется в динамике из yml файла, но есть проблема, мне нужно сгруппировать таски, чтобы они выполнялись паралельно, но если 1 из них упал перезапускать все несколько раз. Очевидно напрашивается subdugoperator, но у него есть ряд проблем с построением в динамике и приходиться после каждого перезапуска чистить ему логи

привет
подскажите пожалуйста в чем ошибка
Broken DAG: [/opt/airflow/dags/mcs.py] Traceback (most recent call last):
 File "/home/airflow/.local/lib/python3.8/site-packages/airflow/models/baseoperator.py", line 1234, in set_downstream
   self._set_relatives(task_or_task_list, upstream=False)
 File "/home/airflow/.local/lib/python3.8/site-packages/airflow/models/baseoperator.py", line 1178, in _set_relatives
   task_object.update_relative(self, not upstream)
AttributeError: 'function' object has no attribute 'update_relative'

3 часа уже не могу понять в чем дело

Посмотри нейминг Дага и тасков. Кажется что у тебя что-то там не так, либо в функцию аргументов передается больше, чем ты ожидаешь. Добавь , *kwargs в параметры функции

Спасибо, добрый человек!

в цепочке тасков указал айди таска, а не название переменной, которой принадлежит этот таск

Помогло?

Всем день добрый! Подскажите пожалуйста такой момент. Хочу на сервере развернуть airflow, вроде все ок, но когда запускаю webserver, workers вроде работают норм, но на локальной машине не открывается UI. С чем может такое может быть связано?

Может ли быть это связано с тем, что для удалённого доступа используется Cisco anyconnect VPN?

вероятно на сервере нужно открыть порт для входящих подключений

А какой именно порт необходимо открыть? 8080?

наверное любой удобный, насколько мне известно потом открытый порт можно форвардить на любой порт сервера

а вот какой у эйрфлоу порт слушается зависит от того, как именно разворачивали на сервере. в докерфайле из оф.репозитория на гитхабе указан 8080, да

Спасибо, попробую

Привет, помогите понять, уже все глаза себе стер.
Есть Airflow в Кубере (2.0.*), Kubernetes Executor, при запуске дагов, поды не создаются с ошибкой

Failed to apply default image tag "my_registry_address_without_https:python:3.8”: couldn't parse image reference "my_registry_address_without_https:python:3.8”: invalid reference format

В конфигах выставлены приватный репос (Artifactory)

# The repository of the Kubernetes Image for the Worker to Run
worker_container_repository = my_registry_address_without_https

# The tag of the Kubernetes Image for the Worker to Run
worker_container_tag = python:3.8

Меня смущает два двоеточия в адресе my_registry_address_without_https:python:3.8, но в конфигах двоеточие только в теге

Что этот контейнер есть в репосе - проверил.