IL
видимо из брокера исчезает инфа о таске и вебморда не может логи подтянуть
Size: a a a
2021 April 13
IL
а ретрая таски нет и получается что в морде она висит в running, вo flower в active, но сходить за логом на воркер не может
а еще вопрос, у меня логи падают в s3, в какой момент они сохраняются? после выполнения таски
а еще вопрос, у меня логи падают в s3, в какой момент они сохраняются? после выполнения таски
IL
бэкенд pgsql
IL
там процессинг идет и промежуточные результаты сохраняются, и они сохранились
вот со временем я тоже не понял
старт был
а инфа в логе от
вот со временем я тоже не понял
старт был
2021-04-12 18:40:56.540546+00:00а инфа в логе от
[2021-04-13 06:39:18,886] INFO - Task is not able to be runIL
примерно 11 часов спустя, потом в
2021-04-13 08:36:30,222 я прибил задачу, всего через 13 часов от стартаIL
по логике
Task is not able to be run должен был через час попасть в логAP
Коллеги, если падает airflow в k8s на There are still unapplied migrations after
https://github.com/apache/airflow/blob/master/airflow/utils/db.py#L617
Что можно добавить для debug в эту функцию?
https://github.com/apache/airflow/blob/master/airflow/utils/db.py#L617
Что можно добавить для debug в эту функцию?
2021 April 14
АВ
Всем привет 🙋♂️ ребят, подскажите пожалуйста, сейчас весь в активном изучении airflow. И возник такой вопрос - возможно-ли подключить более одной базы к airflow? Вот у меня DWH на PostgreSQL с кучей БД, возможно-ли их все законектить, если да, то как? В airflow.cfg прописывается ведь один путь или можно более одного?
СГ
Привет, всем, кто-нибудь сталкивался с тем, чтобы получать через DagBag даг в плагине, запуская все это через Celery? Проблема в том, что почему-то DagBag().dags возвращает пустой словарь, на Local все ок работает. Пробовал ещё грузить из DagPickle, но тоже ошибка. Может ещё есть способы получить именно объект дага в плагине?
ИХ
всем привет. на убунте развернут airflow через докер контейнер. устанавливал ли кто-нибудь дополнительные пакеты в докер? и можно ли вообще это реализовать?
YV
так же как в любые другие контейнеры или путем создания своего имиджа https://airflow.apache.org/docs/apache-airflow/stable/production-deployment.html?highlight=pip%20install#extending-the-image
ИХ
Спасибо
АД
Добрый день, после перехода на KubernatesExecutor между задачами появились большие промежутки времени
