Size: a a a

2020 October 13

SG

Sergey Gavrilov in Airflow
L-dar
Подскажите как правильно отлаживать скрипт у меня airflow на докере. Использую PyCharm?
Установить PyCharm Professional и использовать docker-интерпретатор
источник

L

L-dar in Airflow
Sergey Gavrilov
Установить PyCharm Professional и использовать docker-интерпретатор
Так и сделано, когда запускаю скрипт, вылетает
источник

OI

Oleg Ilinsky in Airflow
ну или делать рядом скрипты с dag_bag, task.execute и вот этим вот всем
https://blog.usejournal.com/testing-in-airflow-part-1-dag-validation-tests-dag-definition-tests-and-unit-tests-2aa94970570c
источник

SG

Sergey Gavrilov in Airflow
L-dar
Так и сделано, когда запускаю скрипт, вылетает
Что вылетает-то?
источник

L

L-dar in Airflow
бли сюда нельзя выкладывать скрины
источник

SG

Sergey Gavrilov in Airflow
Нельзя?
источник

AA

Anton Afonin in Airflow
L-dar
через print это какая то жесть, хотелось дебагером
Видел на хабре что-то на эту тему, но вообще можно погуглить
https://stackoverflow.com/questions/58931845/debugging-airflow-tasks-with-ide-tools
источник

AA

Anton Afonin in Airflow
L-dar
бли сюда нельзя выкладывать скрины
первый N сообщений нельзя
источник

L

L-dar in Airflow
Тогда как то мне нужно набрать этот N или выслать неотформатированый текст)
источник

AA

Anton Afonin in Airflow
источник

SG

Sergey Gavrilov in Airflow
L-dar
Тогда как то мне нужно набрать этот N или выслать неотформатированый текст)
Вы ж через airflow test ... таскодаги дебажите?
источник

L

L-dar in Airflow
Sergey Gavrilov
Что вылетает-то?
В общем, когда запускаю скрипт через pyCarm начинает запскатся докер, устанавливаться пакеты, которые не могут по каким то причинам установится и вылетает
источник

L

L-dar in Airflow
Successfully installed airflow-clickhouse-plugin-0.5.7.post1 beautifulsoup4-4.9.3 boto3-1.15.16 botocore-1.18.16 bs4-0.0.1 catboost-0.23.2 clickhouse-driver-0.1.5 cycler-0.10.0 imbalanced-learn-0.7.0 jmespath-0.10.0 joblib-0.17.0 kiwisolver-1.2.0 lxml-4.5.2 matplotlib-3.3.2 pillow-7.2.0 plotly-4.11.0 pyparsing-2.4.7 retrying-1.3.3 s3transfer-0.3.3 scikit-learn-0.23.2 scipy-1.5.2 soupsieve-2.0.1 threadpoolctl-2.1.0
flower_1     | Aborting on container exit...
источник

L

L-dar in Airflow
Ну да, я так же отрагировал, фигня какая то. А сам по себе airflow работает
источник

SG

Sergey Gavrilov in Airflow
L-dar
Successfully installed airflow-clickhouse-plugin-0.5.7.post1 beautifulsoup4-4.9.3 boto3-1.15.16 botocore-1.18.16 bs4-0.0.1 catboost-0.23.2 clickhouse-driver-0.1.5 cycler-0.10.0 imbalanced-learn-0.7.0 jmespath-0.10.0 joblib-0.17.0 kiwisolver-1.2.0 lxml-4.5.2 matplotlib-3.3.2 pillow-7.2.0 plotly-4.11.0 pyparsing-2.4.7 retrying-1.3.3 s3transfer-0.3.3 scikit-learn-0.23.2 scipy-1.5.2 soupsieve-2.0.1 threadpoolctl-2.1.0
flower_1     | Aborting on container exit...
Эмм, я пршу прщения, а зачем вы Фловер дебажите?
источник

L

L-dar in Airflow
А что нужно? Подскажите, я джун
источник

SG

Sergey Gavrilov in Airflow
Ну во-первых, воркер
источник

SG

Sergey Gavrilov in Airflow
Во-вторых, он должен видеть БД, а значит им нужно быть в одной сети... Вы докер-композ используете?
источник

L

L-dar in Airflow
Sergey Gavrilov
Во-вторых, он должен видеть БД, а значит им нужно быть в одной сети... Вы докер-композ используете?
До докер компоуз
источник

SG

Sergey Gavrilov in Airflow
Натравите на воркера интерпретатор, и используйте команду airflow test dag_id task_id date
источник