Size: a a a

2020 July 09

ДН

Дмитрий Негреев... in Airflow
Aлексей Mатюхин
Буду признателен за ссылку...
источник

AM

Aлексей Mатюхин... in Airflow
Спасибо!
источник

AM

Aлексей Mатюхин... in Airflow
Дмитрий, подскажите, пожалуйста, а как директории внутри контейнеров видят даги? githab маленько отличается от gitlab? Я так понял, что все контейнеры должны видеть папку с дагами, а в этом примере явно не видно где все это связывается
источник

ДН

Дмитрий Негреев... in Airflow
Aлексей Mатюхин
Дмитрий, подскажите, пожалуйста, а как директории внутри контейнеров видят даги? githab маленько отличается от gitlab? Я так понял, что все контейнеры должны видеть папку с дагами, а в этом примере явно не видно где все это связывается
Volume в docker-compose файлах.
Просто в папку dags на тачке куда склонировали репу и подняли контейнеры кидаете свои даги, и они будут сразу появляться во всех контейнерах
источник

AM

Aлексей Mатюхин... in Airflow
Это понятно) У меня просто тот случай, когда после мантирования, влюмы смонтировались в разные места, и контенеры не соеденены в одну точку. Но может я просто не так что-то делаю. Пойду еще раз все проверю. Большое спасибо!😊
источник

AM

Aлексей Mатюхин... in Airflow
Дмитрий Негреев
Volume в docker-compose файлах.
Просто в папку dags на тачке куда склонировали репу и подняли контейнеры кидаете свои даги, и они будут сразу появляться во всех контейнерах
Не работает(. Даги не появляются, волюмы не монтируются. Наверно в gitlab по другому.
источник

АЖ

Андрей Жуков... in Airflow
А при чем тут gitlab?
источник

ME

Max Efremov in Airflow
Подскажите, а где в UI глянуть логи по самому дагу? Не по таскам, а операциям дага (триггеры по завершению у меня логгируют немного)
источник

AM

Aлексей Mатюхин... in Airflow
Андрей Жуков
А при чем тут gitlab?
Ну в githab и gitlab по разному ci строится, как я понял. Пример то на githab
источник

GG

George Gaál in Airflow
githab, ну-ну
источник

GG

George Gaál in Airflow
Принципиально сиай там одинаковый, но сделан по-разному. В гитлабе ямл, с башем и докером внутри. В гитхабе actions. По сути те же докеры и баши )
источник

AM

Aлексей Mатюхин... in Airflow
А команды отличаются?
источник

АЖ

Андрей Жуков... in Airflow
ты расскажи лучше, что ты делаешь
источник

АЖ

Андрей Жуков... in Airflow
надеюсь, не запускаешь airflow внутри раннера
источник

GG

George Gaál in Airflow
Aлексей Mатюхин
А команды отличаются?
Смотря в каком смысле.
источник

GG

George Gaál in Airflow
Андрей Жуков
ты расскажи лучше, что ты делаешь
+++
источник

AM

Aлексей Mатюхин... in Airflow
Андрей Жуков
ты расскажи лучше, что ты делаешь
Я пытаюсь уже вторую неделю поднять airflow из docker-compose. Пока что-то не очень получается.
источник

АЖ

Андрей Жуков... in Airflow
Так-так
А как ты его поднимаешь?
источник

GG

George Gaál in Airflow
Aлексей Mатюхин
Я пытаюсь уже вторую неделю поднять airflow из docker-compose. Пока что-то не очень получается.
Подними локально. Опиши процесс. Перенеси это в гитлаб или гитхаб. Профит
источник

AM

Aлексей Mатюхин... in Airflow
Андрей Жуков
Так-так
А как ты его поднимаешь?
Есть сервер. И доступ к нему. В компоузе описано как поднимать контейнеры. Еще есть очень хитрая система деплоя на сервер. Выводится файл конфигурации компоуза и через пайп закидывается на сервер.
источник