Size: a a a

2021 May 11

🍒

🍒 in Airflow
Но я не уверен, сработает ли на винде
источник

🍒

🍒 in Airflow
вроде как написать в урле host.docker.internal вместо локалхоста должно тоже помочь
источник

R

Roma Nikolaev in Airflow
пандас да, но ему нужно в качестве аргумента передать коннектор, который создается как раз через  create_engine. Вот с этим как раз и проблема
источник

R

Roma Nikolaev in Airflow
ага, хорошо, спасибо! попробую так
источник

R

Roma Nikolaev in Airflow
о боже, оно работает ! спасибо вам большое. у меня чуть крыша не поехала, пока я пытался это настроить
источник

🍒

🍒 in Airflow
Рад был помочь
источник

А

Александр in Airflow
Переодически на UI вылазит вот такая ошибка:
```
Broken DAG: [/opt/airflow/dags/screenshots/myprojectname/dag.py] Traceback (most recent call last):
 File "/usr/local/lib/python3.8/ssl.py", line 1099, in read
   return self._sslobj.read(len, buffer)
 File "/home/airflow/.local/lib/python3.8/site-packages/airflow/utils/timeout.py", line 37, in handle_timeout
   raise AirflowTaskTimeout(self.error_message)
airflow.exceptions.AirflowTaskTimeout: DagBag import timeout for /opt/airflow/dags/screenshots/myprojectname/dag.py after 30.0s, PID: 26690
```
При этом сам даг можно запустить и он будет работать. Из-за чего подобная ошибка может появляться?
источник

ME

Max Efremov in Airflow
за 30 секунд даг не создался?
источник

ME

Max Efremov in Airflow
мб там какая-то сложная логика на создание?
источник

ДЖ

Денис Жирнов... in Airflow
Добрый день! Общащаюсь к знатокам airflow. Я установил airflow  в докере, создал dag, который на локальной машине нормально отрабатывает, но при попытке запустить его через airflow ошибка при записи xlsx файла   File "/home/airflow/.local/lib/python3.6/site-packages/pandas/io/excel/_openpyxl.py", line 18, in init
   from openpyxl.workbook import Workbook
ModuleNotFoundError: No module named 'openpyxl'
Как я должен установить этот пакет в докере?
источник

ДЖ

Денис Жирнов... in Airflow
Сейчас он установлен в каждом контейнере из которых состоит airflow
источник

ДЖ

Денис Жирнов... in Airflow
но результата нет
источник

PA

Panchenko Andrey in Airflow
а вы собираете образ вручную или скачиваете уже готовый?
источник

ДЖ

Денис Жирнов... in Airflow
я скачал готовый образ
источник

ME

Max Efremov in Airflow
сделайте свой вот так
источник

ME

Max Efremov in Airflow
и юзайте его
источник

ДЖ

Денис Жирнов... in Airflow
т.е. прописать в docker-file команду по установке requirements
источник

JZ

Julia Zhosan in Airflow
Всем привет. А есть какой-то не сильно болезненный способ очистить логи дагов?
источник

R

Roma Nikolaev in Airflow
День добрый. Насколько я помню, для работы с екселем нужен еще пакет xlrd устанавливать
У меня вот пандас без него не работал
источник

ДЖ

Денис Жирнов... in Airflow
у меня в requirements.txt это прописано, присоединяю этот файл как volume, т.е. нужно в docker-file добавить еще команду по установку зависимостей из файла?
источник