В
Извините, не сдержался
)) ну тут просто хочу заранее сориентироваться, чтобы не начать интенсивно тупить получив конкретные задачи
Size: a a a
2020 August 20
SG
Советую пока не париться и подождать всё-таки конкретные задачи. Потому что с таким описанием, в принципе, бригады грузчиков должно хватить
В
Советую пока не париться и подождать всё-таки конкретные задачи. Потому что с таким описанием, в принципе, бригады грузчиков должно хватить
Понял, тогда в целом повникаю в документацию. Просто мало ли вдруг есть какое то правило, если используешь airflow, то все строго через него)
С
Советую пока не париться и подождать всё-таки конкретные задачи. Потому что с таким описанием, в принципе, бригады грузчиков должно хватить
+1 данные можно и жёсткими дисками грузить
АЖ
Сюткин
+1 данные можно и жёсткими дисками грузить
Ну, Амазон так и делает иногда :)
MR
Всем привет) можете подсказать, почему не получается настроить работу impersonation - Когда указываем run_as_user, выдает ошибку ~ sudo: airflow: command not found ( с чем может быть связано?
IL
Добрый вечер, как можно организовать запуск многих задач в одном даге?
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
ДН
Добрый вечер, как можно организовать запуск многих задач в одном даге?
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
Можете динамически таски в цикле генерить, правда пока версионирование дага не добавят, у вас веб-морду барабанить будет туда сюда
IL
Можете динамически таски в цикле генерить, правда пока версионирование дага не добавят, у вас веб-морду барабанить будет туда сюда
Я думал об этом, или в один флоу все запихать или отдельно генерить
Но как то оба варианта не особо
Но как то оба варианта не особо
ИХ
СДелал по данному примеру :
структуру имею вот такую
по какому урлу найти данную страницу? с блюпринтом и фласком дел не имел пока что
from airflow.plugins_manager import AirflowPlugin
from flask_appbuilder import BaseView as AppBuilderBaseView
class TestAppBuilderBaseView(AppBuilderBaseView):
template_folder = '/home/user/airflow/plugins/test_plugin/templates'
@expose("/")
def list(self):
return self.render_template("test.html", content="Hello galaxy!")
v_appbuilder_view = TestAppBuilderBaseView()
v_appbuilder_package = {"name": "Test View",
"category": "Test Plugin",
"view": v_appbuilder_view}
class AirflowTestPlugin(AirflowPlugin):
name = "test_plugin"
appbuilder_views = [v_appbuilder_package]
структуру имею вот такую
Plugins
|_test_plugin
|_templates
|_test.html
test_plugin.py
по какому урлу найти данную страницу? с блюпринтом и фласком дел не имел пока что
кто-нить то может помочь?
АС
Добрый вечер, как можно организовать запуск многих задач в одном даге?
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
Есть список из 200-300 rss фидов, как то это реально нормально в airflow организовать?
Условно я запускаю DAG раз в час и он в зависимости от настроек парсинга rss выбирает фиды которые еще не были спаршены
Есть вариант не таски генерить, а даги тригерить.
IL
Есть вариант не таски генерить, а даги тригерить.
Можно поподробнее?
АС
Обработка - в отдельном даге. И этот даг из контролирующего дага вызываете с нужными параметрами нужное количество раз. Есть нюанс - вызыв одного и того же дага нельзя делать чаще одного раза в секунду.
АС
Есть пример Trigger_dag operator, он сам не удобный, надо внутрь заглянуть, там будет вызов функции trigger_dag. Вот ее надо использовать
АС
Сейчас не у компа.
АС
from airflow.api.common.experimental.trigger_dag import trigger_dag
АС
for тра-та-та:
resp = trigger_dag(dag_id=dag_id, conf=params)
logging.info(resp)
time.sleep(1)
IL
Спасибо, сейчас посмотрю
AN
Ребята, как считаете, насколько уместно использовать DockerOperator в k8s кластере?