DP
Всем привет, развернут airflow в venv, либы все стоят. но он отказывается видеть psycopg2, и самое странное в логах webserver ошибок нет, все инициализируется нормально без ошибок, но в веб интерфейсе ошибка и сам даг не прогружается
Size: a a a
2021 May 11
SZ
Без ошибки сложно, но как вариант попробуйте заменить на https://pypi.org/project/psycopg2-binary/
DP
я ничего не понимаю, если реально снести psycopg2 то в логах видна ошибка
DP
ME
некоторые ошибки могут кешироваться в UI и сами не уходить
ME
если даги работают, можно из базы руками удалить такое
DP
в том то и дело что дага в списке нет
ME
а если сделать питон и файлик дага в контейнере скедулера?
ME
ошибок нет?
DP
это не контейнер, просто все либы из офф доки в венве
DP
если дернуть сам файлик ошибок нет
DP
а где ещё можно посмотреть логи?
DP
странно приподнял на другой венв все норм
R
Как обещал. Делюсь своим опытом)
DAG получает данные по api, трансформирует, сохраняет в excel через пандовский to_excel
Установил пакет openpyxl только в worker и больше никуда
Все сохранилось с первого раза, проблем не было.
Так что даже не знаю чем вам помочь
DAG получает данные по api, трансформирует, сохраняет в excel через пандовский to_excel
Установил пакет openpyxl только в worker и больше никуда
Все сохранилось с первого раза, проблем не было.
Так что даже не знаю чем вам помочь
ДЖ
Вы устанавливали командой pip3 install openpyxl?
R
даже просто
pip install openpyxl
pip install openpyxl
R
а вы через пандасовский to_excel тоже сохраняете ?
ДЖ
Да
Причем, интересно, что перед этим он экселевский файл читает, а писать в него не желает.
Причем, интересно, что перед этим он экселевский файл читает, а писать в него не желает.
ДЖ
А при чтении задействует тот же самый openpyxl
R
странно конечно,
честно не знаю
за год тыканья в пандас, ни разу с таким не сталкивался
честно не знаю
за год тыканья в пандас, ни разу с таким не сталкивался