АД
кто нибудь сталкивался? и как это чинить?
Size: a a a
2021 April 14
PA
это еще и в селери экзекьютере есть
PA
я тоже задавал тут вопросы но увы ответом не разжился
PA
на локал экзекьюторе конечно все летает, но не на кластере из нескольких машин))
ДН
Да причин много - мало квоты, под запустился на узле где нет имеджа и его запулить надо, кончилась квота в NS и airflow пытается безуспешно создать его
ДН
15 секунд это ещё довольно быстро
АД
ок, спасибо
PA
а если 3 минуты?
ДН
смотря как часто и какие причины, основные из-за которых может медленно быть написал выше
PA
это и для селери экзекютора справедливо?
AP
Коллеги, если я в k8s airflow подложил скрипт, то почему он не виден?
AP
АД
стоит перепроверить параметр dags_folder
ДН
нет, в селери статичные воркеры
AP
ФМ
ещё можно в контейнере
airflow list_dags запустить, он может об ошибках в дагах написатьAP
перед helm install airflow поправил value.yaml
# Mount additional volumes into webserver.
extraVolumes:
- name: dags
hostPath:
path: "/opt/airflow/dags"
extraVolumeMounts:
- name: dags
mountPath: "/opt/airflow/dags"
ДН
это, видимо контейнер с вебсервером
а на шедулере есть?
а на шедулере есть?
AP
airflow list_dags
The 'list_dags' command is deprecated and removed in Airflow 2.0, please use 'dags list', or 'dags report' instead
[2021-04-14 09:10:31,322] {__init__.py:50} INFO - Using executor KubernetesExecutor
[2021-04-14 09:10:31,325] {dagbag.py:417} INFO - Filling up the DagBag from /opt/airflow/dags
-------------------------------------------------------------------
DAGS
-------------------------------------------------------------------
AP
да, это контейнер с вебсервером
в шедулер тоже монтировать /opt/airflow/dags ?
в шедулер тоже монтировать /opt/airflow/dags ?