Size: a a a

2020 August 13

НС

Николай Сергушенков... in Airflow
Коллеги, подскажите пожалуйста - в айрфлоу помимо количества слотов для каждого таска, есть какое нибудь ограничение на общее количество слотов? Регулярно минуты две после старта дага не может стартовать первый таск, таск относится к пулу prima - при этом очереди в этом пуле не было, больше половины слотов свободно, но была большая очередь тасков в дефаулт_пуле. Конфиг просмотрел - вроде ничего подобного нет
источник

НС

Николай Сергушенков... in Airflow
Нагуглил parallelism в конфиге - но он с запасом, тормоз с запуском первого таска не из-за этого
источник

ИХ

Ильяс Хакиев... in Airflow
Как сделать/добавить кастомные страницы для airflow?
источник

SG

Sergey Gavrilov in Airflow
Ой, пытался как-то найти... По-моему это как-то с плагинами связано
источник

ИХ

Ильяс Хакиев... in Airflow
Sergey Gavrilov
Ой, пытался как-то найти... По-моему это как-то с плагинами связано
Да да
источник

M

Mikhail in Airflow
Ильяс Хакиев
Как сделать/добавить кастомные страницы для airflow?
через добавление вьюх в плагины, в доках есть
источник

A

Arsen in Airflow
А может быть в рамках одного дага две таски с разными schedule_interval?
источник

A

Arsen in Airflow
Мне надо тригернуть другой даг, при условии что все таски предыдущего дага выполнились успешно. Но таски в первом даге должны запускаться в разное время
источник
2020 August 14

ДС

Дина Сафина... in Airflow
Где-то про airflow рассказывают?
источник

GB

Grigoriy Baranov in Airflow
Новый набор в секту.
источник

АР

Андрей Романов... in Airflow
ссылку на этот чат прислали в чат дата-инженеров)
источник

A

Arsen in Airflow
Секта на мой вопрос не смогла ответить ☹️
источник

GB

Grigoriy Baranov in Airflow
На то она и секта, ты должен уверовать, а не спрашивать.
источник

VS

Vladislav 👻 Shishkov... in Airflow
про триггер если - то сенсор
источник

VS

Vladislav 👻 Shishkov... in Airflow
в последних версиях завезли какую-то штуку, которая зависимости между дагов выстраивает, но не помню название
источник

N

Nikita in Airflow
Arsen
Мне надо тригернуть другой даг, при условии что все таски предыдущего дага выполнились успешно. Но таски в первом даге должны запускаться в разное время
Если триггернуть, то TriggerDagRunOperator
Если из одного дага дождаться другого, то ExternalTaskSensor
источник

ДН

Дмитрий Негреев... in Airflow
Nikita
Если триггернуть, то TriggerDagRunOperator
Если из одного дага дождаться другого, то ExternalTaskSensor
А как из одного дага дождаться другого, если manual был?
Например даги стартую раз в сутки, а надо еще периодически в течении дня руками
источник

A

Arsen in Airflow
Nikita
Если триггернуть, то TriggerDagRunOperator
Если из одного дага дождаться другого, то ExternalTaskSensor
Кажись, это не то
источник

ME

Max Efremov in Airflow
А prefect кто-то пробовал, лучше/хуже airflow?
источник

N

Nikita in Airflow
Дмитрий Негреев
А как из одного дага дождаться другого, если manual был?
Например даги стартую раз в сутки, а надо еще периодически в течении дня руками
Много плясок с execution_delta будет, тут разве что извращаться с execution_date_fn либо допиливанием сенсора со своей логикой
источник