Size: a a a

2020 August 20

В

Владимир in Airflow
Sergey Gavrilov
Извините, не сдержался
)) ну тут просто хочу заранее сориентироваться, чтобы не начать интенсивно тупить получив конкретные задачи
источник

SG

Sergey Gavrilov in Airflow
Советую пока не париться и подождать всё-таки конкретные задачи. Потому что с таким описанием, в принципе, бригады грузчиков должно хватить
источник

В

Владимир in Airflow
Sergey Gavrilov
Советую пока не париться и подождать всё-таки конкретные задачи. Потому что с таким описанием, в принципе, бригады грузчиков должно хватить
Понял, тогда в целом повникаю в документацию. Просто мало ли вдруг есть какое то правило, если используешь airflow, то все строго через него)
источник

С

Сюткин in Airflow
Sergey Gavrilov
Советую пока не париться и подождать всё-таки конкретные задачи. Потому что с таким описанием, в принципе, бригады грузчиков должно хватить
+1 данные можно и жёсткими дисками грузить
источник

АЖ

Андрей Жуков... in Airflow
Сюткин
+1 данные можно и жёсткими дисками грузить
Ну,  Амазон так и делает иногда :)
источник

MR

Mikhail Rozhkov in Airflow
Всем привет) можете подсказать, почему не получается настроить работу impersonation - Когда указываем run_as_user, выдает ошибку ~ sudo: airflow: command not found ( с чем может быть связано?
источник

IL

Ilya Lozhkin in Airflow
Добрый вечер, как можно организовать запуск многих задач в одном даге?
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
источник

ДН

Дмитрий Негреев... in Airflow
Ilya Lozhkin
Добрый вечер, как можно организовать запуск многих задач в одном даге?
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
Можете динамически таски в цикле генерить, правда пока версионирование дага не добавят, у вас веб-морду барабанить будет туда сюда
источник

IL

Ilya Lozhkin in Airflow
Дмитрий Негреев
Можете динамически таски в цикле генерить, правда пока версионирование дага не добавят, у вас веб-морду барабанить будет туда сюда
Я думал об этом, или в один флоу все запихать или отдельно генерить
Но как то оба варианта не особо
источник

ИХ

Ильяс Хакиев... in Airflow
Ильяс Хакиев
СДелал по данному примеру :
from airflow.plugins_manager import AirflowPlugin
from flask_appbuilder import BaseView as AppBuilderBaseView

class TestAppBuilderBaseView(AppBuilderBaseView):

   template_folder = '/home/user/airflow/plugins/test_plugin/templates'

   @expose("/")
   def list(self):
       return self.render_template("test.html", content="Hello galaxy!")

v_appbuilder_view = TestAppBuilderBaseView()
v_appbuilder_package = {"name": "Test View",
                       "category": "Test Plugin",
                       "view": v_appbuilder_view}

class AirflowTestPlugin(AirflowPlugin):
   name = "test_plugin"
   appbuilder_views = [v_appbuilder_package]

структуру имею вот такую
Plugins
|_test_plugin
  |_templates
     |_test.html
  test_plugin.py

по какому урлу найти данную страницу? с блюпринтом и фласком дел не имел пока что
кто-нить то может помочь?
источник
2020 August 21

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник

АС

Алексей Савельев... in Airflow
Ilya Lozhkin
Добрый вечер, как можно организовать запуск многих задач в одном даге?
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
Есть вариант не таски генерить, а даги тригерить.
источник

IL

Ilya Lozhkin in Airflow
Алексей Савельев
Есть вариант не таски генерить, а даги тригерить.
Можно поподробнее?
источник

АС

Алексей Савельев... in Airflow
Обработка - в отдельном даге.  И этот даг из контролирующего дага вызываете с нужными параметрами нужное количество раз. Есть нюанс - вызыв одного и того же дага нельзя делать чаще одного раза в секунду.
источник

АС

Алексей Савельев... in Airflow
Есть пример Trigger_dag operator, он сам не удобный, надо внутрь заглянуть, там будет вызов функции trigger_dag. Вот ее надо использовать
источник

АС

Алексей Савельев... in Airflow
Сейчас не у компа.
источник

АС

Алексей Савельев... in Airflow
from airflow.api.common.experimental.trigger_dag import trigger_dag
источник

АС

Алексей Савельев... in Airflow
for тра-та-та:
            resp = trigger_dag(dag_id=dag_id, conf=params)
           logging.info(resp)
           time.sleep(1)
источник

IL

Ilya Lozhkin in Airflow
Спасибо, сейчас посмотрю
источник

AN

Artem Nazarenko in Airflow
Ребята, как считаете, насколько уместно использовать DockerOperator в k8s кластере?
источник