Телеграмм чат группы ruairflow страница 1036

2020 July 22

ДН

ну и немного истории вопроса: https://github.com/apache/airflow/pull/466

Sync dags from S3 location by jlowin · Pull Request #466 · apache/airflow

I've seen this request floating around... this PR lets users store dags in an S3 location.
Users need to add two lines to their airflow.cfg files:
[core]
s3_dags_folder = s3://<s3 da...

а, ну ясно)
ладно, PV и git-sync пока мне в помощь)

источник

10:18пожаловаться #1

DS

Dimitriy Scherbenko in Airflow

Всем привет! Помогите, пожалуйста, разобраться в проблеме. Есть даг, который обращается к .py файлу при помощи BashOperator.

Сам .py файл протестирован и работает нормально.

При тестировании дага при помощи python даг.py отрабатывает, но ничего не происходит.

источник

11:10пожаловаться #2

ИХ

Ильяс Хакиев... in Airflow

Dimitriy Scherbenko

Всем привет! Помогите, пожалуйста, разобраться в проблеме. Есть даг, который обращается к .py файлу при помощи BashOperator.

Сам .py файл протестирован и работает нормально.

При тестировании дага при помощи python даг.py отрабатывает, но ничего не происходит.

Как минимум нужен код))

источник

11:24пожаловаться #3

DS

Dimitriy Scherbenko in Airflow

Ильяс Хакиев

Как минимум нужен код))

я только начал изучать этот продукт, поэтому не претендую на красоту и грацию)

источник

11:25пожаловаться #4

С

Сюткин in Airflow

А под каким пользователем у тебя airflow?

источник

11:29пожаловаться #5

С

Сюткин in Airflow

Он очевидно не может достучаться до файла

источник

11:30пожаловаться #6

С

Сюткин in Airflow

Закинь файл не в хомяк а куда-нибудь в общую папку

источник

11:30пожаловаться #7

AM

Alexander Millin in Airflow

Dimitriy Scherbenko

Всем привет! Помогите, пожалуйста, разобраться в проблеме. Есть даг, который обращается к .py файлу при помощи BashOperator.

Сам .py файл протестирован и работает нормально.

При тестировании дага при помощи python даг.py отрабатывает, но ничего не происходит.

python даг.py и не должен работать

источник

11:30пожаловаться #8

С

Сюткин in Airflow

Да и баш команда то неверная

источник

11:32пожаловаться #9

С

Сюткин in Airflow

Ктож там только py файл указывает

источник