ME
Рисования в смысле не кодом? Можно же UML где угодно набросать или чтобы конвертилось в питон?
Size: a a a
2020 August 12
ИХ
Рисования в смысле не кодом? Можно же UML где угодно набросать или чтобы конвертилось в питон?
ну вот например я хочу сам нарисовать даг и их положение
ИХ
ME
Положение вроде нельзя, там автолеяут
A
Да было бы хорошо иметь конвертер в код python к этому все идёт, посмотрите как автоматом скрипты у aws glue например, явно не доработка у airflow
ME
Anatole
Да было бы хорошо иметь конвертер в код python к этому все идёт, посмотрите как автоматом скрипты у aws glue например, явно не доработка у airflow
Вы про workflows?
A
Да
ME
Там вроде тоже нельзя прямо рисовать 🤔
SG
Там вообще нельзя ничего делать, кроме как управлять последствиями и мониторить
SG
Я пытался начать делать обвязку, но до фронта для составления графов не добрался
ИХ
Рисовать нельзя.
Но очень хочется)) можно сторонними либами.
Но очень хочется)) можно сторонними либами.
ME
Я пытался начать делать обвязку, но до фронта для составления графов не добрался
Мы для glue делали веб интерфейс с построением списка джоб по цепочке триггеров, до рисования в виде графа тоже не дошли) На момент работы с glue workflows только появились и были очень ограничины по функциям.
АП
делал ресерч есть пару интструментов , надстройка над airflow и есть хак через Common workflow language
АП
airflow-dag-creation-manager-plugin
АП
но честно посмотрел и немного не впечатлился
АП
CWL-Airflow: a lightweight pipeline manager supporting Common Workflow Language
АП
а это для cwl
ME
Графы - сложная тема, сделать красиво и неглючно на опенсурсных либах сложно (а на коммерческих ещё и дорого)
ДН
привет!
подскажите, какие есть практики по установке зависимостей между дагами?
external_task_sensor работает только если все запуски породило расписание
а что можно сделать, если мануально нужно запустить, с execution_date = now()
подскажите, какие есть практики по установке зависимостей между дагами?
external_task_sensor работает только если все запуски породило расписание
а что можно сделать, если мануально нужно запустить, с execution_date = now()