Size: a a a

2021 May 30

MB

Muslim Beibytuly in Airflow
хай, настраивал ли кто-нибудь s3 logging с minio? можете ли подсказать конфигурацию?
источник

P

Pavel in Airflow
Настраивали логиррвание на s3 в я.облаке. Без проблем делается, с минио так де всё должно быть просто
источник

MB

Muslim Beibytuly in Airflow
Можете поделиться настройками?
источник

P

Pavel in Airflow
из недокументированного только Extra конфиг подключения:
{
"host":"xxx",
"aws_access_key_id":"xxx",
"aws_secret_access_key":"xxx"
}
источник

P

Pavel in Airflow
всё остальное по доке
источник
2021 May 31

DA

Denis Asalhan in Airflow
ок
источник

DK

Damir Kuskildin in Airflow
Всем привет . Помогите найти проблему: вызываю модель, в питоне все норм, в airflow настроил такое же окружение, но получаю ошибку. Для меня не очень информативна. Может кто сталкивался?
источник

DK

Damir Kuskildin in Airflow
2021-05-31 14:46:03,572] {python_operator.py:292} INFO - Executing cmd
['/tmp/venvgn4h2s5g/bin/python', '/tmp/venvgn4h2s5g/script.py', '/tmp/venvgn4h2s5g/script.inscript.in', '/tmp/venvgn4h2s5g/script.out', '/tmp/venvgn4h2s5g/string_args.txt']
[2021-05-31 14:46:04,817] {python_operator.py:299} INFO - Got error output
b'Traceback (most recent call last):\n  File "/tmp/venvgn4h2s5g/script.py", line 35, in <module>\n    res = predict_early_collection(*args, **kwargs)\n  File "/tmp/venvgn4h2s5g/script.py", line 12, in predict_early_collection\n    import shap\n  File "/tmp/venvgn4h2s5g/lib/python3.6/site-packages/shap/__init__.py", line 3, in <module>\n    from .explainers.kernel import KernelExplainer, kmeans\n  File "/tmp/venvgn4h2s5g/lib/python3.6/site-packages/shap/explainers/kernel.py", line 9, in <module>\n    from sklearn.linear_model import LassoLarsIC, Lasso\n  File "/usr/lib/python3.6/site-packages/sklearn/linear_model/__init__.py", line 12, in <module>\n    from .base import LinearRegression\n  File "/usr/lib/python3.6/site-packages/sklearn/linear_model/base.py", line 38, in <module>\n    from ..preprocessing.data import normalize as f_normalize\n  File "/usr/lib/python3.6/site-packages/sklearn/preprocessing/__init__.py", line 8, in <module>\n    from .data import Binarizer\n  File "/usr/lib/python3.6/site-packages/sklearn/preprocessing/data.py", line 18, in <module>\n    from scipy import stats\n  File "/usr/lib/python3.6/site-packages/scipy/stats/__init__.py", line 345, in <module>\n    from .morestats import *\n  File "/usr/lib/python3.6/site-packages/scipy/stats/morestats.py", line 12, in <module>\n    from numpy.testing.decorators import setastest\nModuleNotFoundError: No module named \'numpy.testing.decorators\'\n'
[2021-05-31 14:46:04,973] {models.py:1760} ERROR - Command '['/tmp/venvgn4h2s5g/bin/python', '/tmp/venvgn4h2s5g/script.py', '/tmp/venvgn4h2s5g/script.inscript.in', '/tmp/venvgn4h2s5g/script.out', '/tmp/venvgn4h2s5g/string_args.txt']' returned non-zero exit status 1.
источник

VE

Vladimir Elfimov in Airflow
Такое ощущение что проблема не в Airflow, а в версии либы numpy, либо даже совместимости версий numpy / scipy
источник

VE

Vladimir Elfimov in Airflow
Что-то не давно такое ловил
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
нету модуля нампи, который бы назывался 'numpy.testing.decorators\
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
Такое лучше скрином кидать, или в ctrl+shift+m (моношрифт)
источник

DK

Damir Kuskildin in Airflow
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
Ниже, и без сжатия
источник

ММ

Максим Мартынов... in Airflow
по названию модуля гуглится решение в первой же строке в гугле
источник

DK

Damir Kuskildin in Airflow
Можно ссылку
источник

ММ

Максим Мартынов... in Airflow
источник

AA

Anton Afonin in Airflow
Вот это проучил
источник

ММ

Максим Мартынов... in Airflow
азаз
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
источник