Телеграмм чат группы ruairflow страница 1132

я когда на rpi это делал плюнул в итоге потому что конечно идея была хорошей но постоянно медленно и долго что-нибудь подвисало

но у меня правда это была старая модель

источник

18:12пожаловаться #7

Dmitry in Airflow

В итоге поставил celery?

источник

18:12пожаловаться #8

Dmitry in Airflow

Стабильнее работает?

Стабильнее работает?

Стабильно

источник

18:13пожаловаться #10

Dmitry in Airflow

Ок, буду пробовать, спасибо.

источник

18:15пожаловаться #11

Combot in Airflow

Добро пожаловать в самое дружелюбное комьюнити.

источник

20:44пожаловаться #12

2020 October 01

Жмака in Airflow

airflow_graph_raw.png

(58.31 Кб)

источник

12:23пожаловаться #13

Жмака in Airflow

Подскажите пожалуйста, как правильно записать эти связи:

источник

12:23пожаловаться #14

Жмака in Airflow

start_pipeline>> start_emr >> [spark_App_ias, spark_app_dv] >> terminate_emr>> finish_pipeline + start_pipeline >> start_ec2 >> [ml_app_ias, ml_app_dv] >> terminate_ec2 >> finish_pipeline + spark_app_ias >> ml_app_ias + spark_app_dv >> ml_app_dv?

источник

12:25пожаловаться #15

Антон in Airflow

а православной блок-схемы нет? ибо логику здесь не видно

источник

12:26пожаловаться #16

Андрей in Airflow

Жмака

airflow_graph_raw.png

(58.31 Кб)

источник

12:29пожаловаться #17

Андрей in Airflow

как то так. в список надо.

источник

12:30пожаловаться #18

Жмака in Airflow

Антон

а православной блок-схемы нет? ибо логику здесь не видно

Мне нужно сразу после окончания спарк аппликации для ключа ias запустить ml аппликацию для ключа ias. Тоже самое для ключа dv. Спарк аппликации должны быть параллельны и затем ml аппликации должны быть параллельны. Но я хочу удалить emr сразу как обе спарк аппликации закончатся

источник

12:32пожаловаться #19

Жмака in Airflow

Андрей

Тут вроде все последовательно. Мне нужно из тасков спарка стрелки к удалению emr и одновременно из каждого таска спарка стрелку к ml процессу по тому же ключу (ias к ias и dv к dv)

источник

12:36пожаловаться #20