VS
Дело в том, что просто закидывая их туда потом трудно вычищать хвосты.
а вот этот момент можете пояснить? в чем именно проблемы были?
Size: a a a
2018 April 05
VS
или у вас в одном контейнере пачка дагов?
МС
У нас airflow живёт не в контейнерах.
Проблема в том, что например у меня есть даг и какие-то файлы для его работы. Ну скажем конфиги которые он вычитывает или ещё что-то. Я тем же
Проблема в том, что например у меня есть даг и какие-то файлы для его работы. Ну скажем конфиги которые он вычитывает или ещё что-то. Я тем же
scp кладу их в dagsМС
Как потом всопмнить какие файлы к какому дагу относятся, как не оставить мусор когда например стираю даг
МС
То же самое справедливо для плагинов
VS
понял, спасибо
VS
ну решение да, кажется не элегантным
KS
это тема больше про CI/CD, нежели про airflow
небольшой туториал все же нужен, для людей которые далеки от этого, но хотели бы начать пользоваться airflow. имхо лишним точно не будет
VS
небольшой туториал все же нужен, для людей которые далеки от этого, но хотели бы начать пользоваться airflow. имхо лишним точно не будет
для этих целей сейчас компании берут отдельного человека, который выстраивает процесс доставки
2018 April 06
r
Коллеги, приветствую! А была ли у кого проблема с планировщиком airflow когда он задачу сразу в up for retry отправляет, без запуска?
r
Лог при этом пустой, ничего нет. Происходит рандомно, но часто. Я так понимаю ему слотов не хватает или что-то такое
WC
Всем 👋 кто-то сталкивался с ограничением ролей в админке airflow? Чтобы установить роль "только просмотр"? Есть готовые решения или нужно пилить плагин?
МС
Нужно подождать :) Работа над RBAC уже ведётся
I
Wild Child
Всем 👋 кто-то сталкивался с ограничением ролей в админке airflow? Чтобы установить роль "только просмотр"? Есть готовые решения или нужно пилить плагин?
Через ldap есть возможность сделать отдельно роли data profiler, но вроде судя по коду это нигде не используется (и прикрутить ldap это тоже то ещё тыканье пальцем в небо)
WC
Принято, спасибо
KS
Кто-нибудь встречал проблему, что при импорте кастомного плагина из интерфейса исчезает управление дагом и остается только кнопка refresh, которая не помогает?
Как вообще кастомные плагины отлаживать? Лог даже найти не могу загрузки плагина при рестарте сервера
Как вообще кастомные плагины отлаживать? Лог даже найти не могу загрузки плагина при рестарте сервера
r
Скорей всего где-то ошибка синтаксиса или импорта
r
airflow webserver в свой лог пишет обычно что не так