Size: a a a

2020 September 28

DM

Dan M. in Airflow
Я пытался сделать деплой через gitlab ci
источник

VS

Vladislav 👻 Shishkov... in Airflow
а это будет без ssh?
источник

DM

Dan M. in Airflow
Но упёрся в несколько стоперов
источник

DM

Dan M. in Airflow
Vladislav 👻 Shishkov
а это будет без ssh?
Через ssh мне не дали сделать
источник

DM

Dan M. in Airflow
Подучилось без него
источник

VS

Vladislav 👻 Shishkov... in Airflow
с агентом на машине?
источник

DM

Dan M. in Airflow
Vladislav 👻 Shishkov
с агентом на машине?
Dag который делает git pull 😂
источник

VS

Vladislav 👻 Shishkov... in Airflow
источник

DM

Dan M. in Airflow
Надо сделать, но рук нет (
источник

ДН

Дмитрий Негреев... in Airflow
John Smith
Коллеги, привет, только начинаю с airflow, а кто как деплоит даги?
Либо git-sync, либо копирование
источник

ME

Max Efremov in Airflow
John Smith
я так же :) но это не гуд :)
Ага( мы думам над ci/cd, но пока лень
источник

JS

John Smith in Airflow
Условно, аналитик пишет yml, пушит в репу, на основании yml создается DAG
источник

JS

John Smith in Airflow
Осмысливаю просто
источник

VS

Vladislav 👻 Shishkov... in Airflow
дагогенерация
источник

JS

John Smith in Airflow
Vladislav 👻 Shishkov
дагогенерация
Ну да
источник

DM

Dan M. in Airflow
Я такое делаю, но из таблички в бд, с помощью дага
источник

JS

John Smith in Airflow
Dan M.
Я такое делаю, но из таблички в бд, с помощью дага
Я думал...что то похоже..но думал есть практика устоявшаяся
источник

DM

Dan M. in Airflow
Это как сервис для аналитиков
источник

JS

John Smith in Airflow
Dan M.
Это как сервис для аналитиков
Да, потому как сам код DAG однотипный (в моем случае) на основании шаблона создать задачи, положить их в очередь, выделить ресурсы(старт воркеров в облаке), дождаться результатов, сложить в другое место и просигнализировать. Завтра другой шаблон и всё такое же. Но вчерашний даг сохранить на будущее. В таком случае как поступать копипасте кода, да не вопрос, но удобней или в гит шаблоны или сервис-одностраничное приложение написать, который генерит шаблоны и даги. Потому и спрашиваю.
источник

ME

Max Efremov in Airflow
John Smith
Условно, аналитик пишет yml, пушит в репу, на основании yml создается DAG
у нас так по json
источник