Телеграмм чат группы ruairflow страница 39

Size: a a a

Airflow

677 membersпожаловаться на группу

2018 March 06

Sergey Sheremeta in Airflow

вопрос в том, как именно выполнение нового оператора может мешать новым запускам всего дага?

источник

14:01пожаловаться #1

Sergey Sheremeta in Airflow

на подумать:
1) можно запустить backfill с опцией "-m" - что лишь проставит фиктивно выполненными запуски нового оператора в прошлом
2) можно использовать pools для задания ограничений в использовании каких-либо ресурсов

источник

14:03пожаловаться #2

Dmitri Bolshov in Airflow

Коллеги, привет! Мы анализируем возможность использования Airflow в своем ETL проекте для обработки market data и reference data.
API систем источников данных реализованы как REST web services и Soap web service.
Пожалуйста поясните, какими инструментами airflow мы можем работать с soap web service? с rest web service?

источник

14:40пожаловаться #3

Sergey Sheremeta in Airflow

насколько я знаю, сейчас не реализовано никаких механизмов для работы веб-сервисами, вам потребуется писать самостоятельно на python хуки под ваши веб-сервисы

источник

15:06пожаловаться #4

Igor in Airflow

Fedor Lavrentyev

Археологический ответ.
Похоже на demo_mode = True в конфиге

источник

16:53пожаловаться #5

Igor in Airflow

Вопрос про авторизацию. Почему-то выставленный authenticate = True и auth_backend = airflow.contrib.auth.backends.password_auth никак не влияет на поведение вебсервера, всё равно всё открытым остаётся. Юзера создал, про то, что надо откатить SQLAlchemy знаю. Есть у кого-то опыт успешного использования?

источник

16:54пожаловаться #6

Igor in Airflow

И ещё один вопрос в пустоту — зачем у [scheduler] тоже есть флаг authenticate, кто-то его использует?
https://github.com/apache/incubator-airflow/blob/6c93460b98f5a046662ca02956eac418907af765/airflow/config_templates/default_airflow.cfg#L410

источник

18:00пожаловаться #7

kirill in Airflow

Есть дефект в эйрфлоу с авторизацией

источник

19:44пожаловаться #8

kirill in Airflow

Она не работает :)

источник

19:44пожаловаться #9

Igor in Airflow

Хм. А у меня получилось в итоге. Правда скрипт для создания юзера с паролем надо было написать и там понять чего он хочет

источник

19:45пожаловаться #10

Dmitri Bolshov in Airflow

Всем еще раз привет! Скажите пожалуйста, а AirFlow может работать с source и target которым выступают БД Oracle и MS SQL Server?

источник

20:31пожаловаться #11

Fedor Lavrentyev in Airflow

Может через SqoopOperator, например

источник

21:04пожаловаться #12

Fedor Lavrentyev in Airflow

Строго говоря, Airflow ни с чем не работает. Airflow это просто распределенный cron с зависимостями, WebUI и кучей багов.

источник

21:05пожаловаться #13

Fedor Lavrentyev in Airflow

Внутри него можно запускать любые процессы. Для некоторых из них уже написаны красивые обертки. Например, для Sqoop.

источник

21:06пожаловаться #14

Igor in Airflow

Хуки для оракла и для мс скл есть. Но вообще не факт, что это поможет

источник

21:11пожаловаться #15

Dmitri Bolshov in Airflow

Igor

Хуки для оракла и для мс скл есть. Но вообще не факт, что это поможет

Give me the link

источник

21:14пожаловаться #16

Igor in Airflow

Dmitri Bolshov

Give me the link

Окей гугл, oracle hook apache airflow

источник

21:15пожаловаться #17

МС

Максим Сёмочкин in Airflow

Плюс много к @fediq. К Airflow не применимо «может/не может работать с...». Можно работать с чем угодно. Но для чего то придётся написать плагин.

Хотя и этого можно не делать просто завернув нужные вызовы в BashOperator.

источник

21:15пожаловаться #18

Yury Emelyanov in Airflow

Dmitri Bolshov

Всем еще раз привет! Скажите пожалуйста, а AirFlow может работать с source и target которым выступают БД Oracle и MS SQL Server?

Привет!

Из коробки скорее всего под ваш цнлевой процесс не пдойдет. А так да, может. Важно понимать как вы хотите делить экстракт из оракл и как хотите делать лоад в мс

источник

21:37пожаловаться #19

Yury Emelyanov in Airflow

Написать под эту задачу оператор

источник

21:37пожаловаться #20