Телеграмм чат группы ruairflow страница 1414

Size: a a a

Airflow

1228 membersпожаловаться на группу

2021 April 11

Alex in Airflow

привет. не настраивал прокси, эти настройки в connection лежат?

источник

13:35пожаловаться #1

Jester in Airflow

А разве когда подключаешь engine не указываешь адрес базы, просто два разных экземпляра коннектов не получается использовать?

источник

15:40пожаловаться #2

2021 April 12

Stanislav Chernov in Airflow

Привет всем!
Скажите, а как правильно подключать свои файлы модулей в Airflow ?

Нужно положить всё в папку plugins, - я правильно думаю?
А как вызвать import из плагинов в сам DAG ?

источник

11:33пожаловаться #3

Georgy Borodin in Airflow

Лучше, конечно, в пакеты упаковывать, а так всё есть в доке

https://airflow.apache.org/docs/apache-airflow/stable/plugins.html

источник

11:43пожаловаться #4

Àndrew in Airflow

Всем привет. Я новичок в airflow. Помогите пожалуйста) Нужно выполнить bash команду и результат выполнения команды отправить через emailOperator. Как это правильно сделать?

источник

13:12пожаловаться #5

Alex in Airflow

привет. можно сделать даг с BashOperator и EmailOperator соответственно)

источник

13:16пожаловаться #6

Àndrew in Airflow

Это понятно. У меня проблемы с тем как вытащить из BashOperator то, что попадает в stdout. Оно ведь просто в логи уходит

источник

13:30пожаловаться #7

Dan M. in Airflow

Use xcom

источник

13:34пожаловаться #8

Ivan Kizimenko in Airflow

If BaseOperator.do_xcom_push is True, the last line written to stdout
will also be pushed to an XCom when the bash command completes

источник

13:36пожаловаться #9

Àndrew in Airflow

спасибо)

источник

13:49пожаловаться #10

Anton in Airflow

Всем привет!

Реализовано ли в airflow >=2.0 автоматическая установка requirements?

Или надо редактировать Dockerfile ?

источник

19:08пожаловаться #11

Georgy Borodin in Airflow

Что-то делать придётся, либо build-args передавать при сборке, либо requirements добавлять для сборки своего

https://airflow.apache.org/docs/apache-airflow/stable/production-deployment.html#customizing-or-extending-the-production-image

источник

19:16пожаловаться #12

Anton in Airflow

Спасибо!

источник

19:17пожаловаться #13

Georgy Borodin in Airflow

Ну и ещё можно так, но я его никогда не использовал https://airflow.apache.org/docs/apache-airflow/stable/howto/operator/python.html#pythonvirtualenvoperator

источник

19:19пожаловаться #14

Max Efremov in Airflow

А в 2.0 версии можно по ресту почистить одну таску, чтобы перезапустить кусок дага?

источник

20:21пожаловаться #15

2021 April 13

Kirill in Airflow

image_2021-04-13_08-15-39.png

(31.62 Кб)

Добрый день! Установил Airflow через официальный docker образ и наблюдаю очень высокую нагрузку (airflow-webserver) на процессор. Подскажите пожалуйста как можно решить эту проблему?

источник

08:15пожаловаться #16

Anton Patsev in Airflow

Коллеги, кто может подтвердить/опровергнуть issue ?
https://github.com/apache/airflow/issues/15340

GitHub

helm install airflow in namespace get error: File "<string>", line 32, in <module> TimeoutError: There are still unapplied migrations after 60 seconds · Issue #15340 · apache/airflow

Apache Airflow version: master git Kubernetes version (if you are using kubernetes) (use kubectl version): Server Version: version.Info{Major:"1", Minor:"18", Gi...

источник

09:13пожаловаться #17

ФЧ

Филипп Чистяков... in Airflow

Ребят помогите пожалуйста. У меня в dag выставлено catchup=True , и я поменял дату start_date на 1 февраля.Но
1) Не создаются задачи за предыдущие дни
2) кажется что catchup условие не передается в airflow

Что я делаю не так?

источник

12:39пожаловаться #18

ФЧ

Филипп Чистяков... in Airflow

источник

12:39пожаловаться #19

ФЧ

Филипп Чистяков... in Airflow

источник

12:40пожаловаться #20