VS
ох, намучаются с ними тоже
Да, сабмодули специфичны
Size: a a a
2021 March 12
VS
В целом можно попробовать, но для каждой репы придется свой airflow.cfg держать похоже...
FS
Привет. Есть даг где все таски выстроены для параллельного запуска. Но мне надо запускать по 1му и я создал пул с 1 слотом. Все работает ок, но когда каждый таск отрабатывает приходит сообщение в телеграм. Функция отправки сообщений в tg прописана в defaults. По идее она долдна запускаться после отработки дага.
FS
Я ожидал что сообщение придет 1 раз.
FS
Функция прописана для on_success
FS
Есть идеи почему так происходит?
FS
Раньше подобного не случалось для других операторов. В даге используются DockerOperator
СГ
Ребят, подскажите можно как-то продебажить метод
DagBag.collect_dags? мне нужно проверить, почему не работает .airflowignore, который почему-то логи записывает по всем питоновским файлам. Такое поведение началось с 2.0RF
всем привет. ни кто не сталкивался с такой проблемой - периодически на рандомных дагах ловлю
Failed to fetch log file from worker. 404 Client Error: NOT FOUND for url
airflow 2.0 c celery executor?
воркеров 2 шт
файл с логами не создается - запрашиваемый файл на обоих воркерах отсутствует
Failed to fetch log file from worker. 404 Client Error: NOT FOUND for url
airflow 2.0 c celery executor?
воркеров 2 шт
файл с логами не создается - запрашиваемый файл на обоих воркерах отсутствует
N
всем привет. ни кто не сталкивался с такой проблемой - периодически на рандомных дагах ловлю
Failed to fetch log file from worker. 404 Client Error: NOT FOUND for url
airflow 2.0 c celery executor?
воркеров 2 шт
файл с логами не создается - запрашиваемый файл на обоих воркерах отсутствует
Failed to fetch log file from worker. 404 Client Error: NOT FOUND for url
airflow 2.0 c celery executor?
воркеров 2 шт
файл с логами не создается - запрашиваемый файл на обоих воркерах отсутствует
бывает такое, если в контейнерах и нету маунтов для логов
RF
у меня не в контейнере(
RF
попробую 2.0.1
I
Коллеги, подскажите плиз, если запустить backfill ДАГа при указании в рамках ДАГа max_active_runs=1, то он не должен ведь параллельно запускать все date по DAG (параллельно даг не запускается)
Даже без max_active_runs=1, он будет последовательно запускать даг по датам.
AV
Даже без max_active_runs=1, он будет последовательно запускать даг по датам.
к сожалению сейчас это не так(
AV
выглядит как баг определенной версии airflow