ME
Max_active_runs=1
да, это уже есть. Он ждёт, пока прошлый отработает и не начинает. Но когда прошлый в середине фейлится, начинает следующий выполнять
Size: a a a
2020 July 03
ME
Подскажите, а как секьюрно хранить подключение airflow к базе? Не хочется прямо строку подключения с паролем писать в конфиге
ME
Хотя, наверное, через AIRFLOW__CORE__SQL_ALCHEMY_CONN можно попробовать
СВ
всем привет. ребят а возможно сделать в одном dag-е две параллельные ветки, одна будет идти по одному расписанию: вторая по другому?
С
всем привет. ребят а возможно сделать в одном dag-е две параллельные ветки, одна будет идти по одному расписанию: вторая по другому?
Branchoperator с запуском каждый день к примеру
С
Если 1 число то ветка А
Если 2 число то ветка Б
Если 2 число то ветка Б
СВ
Сюткин
Branchoperator с запуском каждый день к примеру
спасибо. попробую
M
коллеги, а кто как обновляет код дагов, когда всё в контейнерах и celeryexecutor?
у меня пока такое видение:
1. послать SIGTERM воркерам
2. подождать пока они доделают работу и самоубьются
3. обновить шедулер (по идее он не должен ничего шедулить, пока нет воркеров)
4. обновить веб-интерфейс
5. запустить новые версии воркеров
у меня пока такое видение:
1. послать SIGTERM воркерам
2. подождать пока они доделают работу и самоубьются
3. обновить шедулер (по идее он не должен ничего шедулить, пока нет воркеров)
4. обновить веб-интерфейс
5. запустить новые версии воркеров
SG
коллеги, а кто как обновляет код дагов, когда всё в контейнерах и celeryexecutor?
у меня пока такое видение:
1. послать SIGTERM воркерам
2. подождать пока они доделают работу и самоубьются
3. обновить шедулер (по идее он не должен ничего шедулить, пока нет воркеров)
4. обновить веб-интерфейс
5. запустить новые версии воркеров
у меня пока такое видение:
1. послать SIGTERM воркерам
2. подождать пока они доделают работу и самоубьются
3. обновить шедулер (по идее он не должен ничего шедулить, пока нет воркеров)
4. обновить веб-интерфейс
5. запустить новые версии воркеров
Обычно просто вбрасываю новый код поверх старого
SG
Ну как бы очень редко нужно что-то делать с контейнером после апдейта
SG
В гитлабе воркеры отлично могут подменять старый код во всех случаях, кроме оных
2020 July 04
ДН
подскажите, а старт задачек через CLI как-то отличается, если настроен Celery?
В дефолтном пукелевском контейнере пытаюсь в контейнере с шедулером через airflow test ... запустить таск, и он пытается что-то в SQLite писать
В дефолтном пукелевском контейнере пытаюсь в контейнере с шедулером через airflow test ... запустить таск, и он пытается что-то в SQLite писать
ДН
Смотрю логи шедулера, когда через webui стартую, но там только инфа о том, что задача в очередь брокеру ушла
а в логах веб сервера все видимо через api запускается
а в логах веб сервера все видимо через api запускается
SG
подскажите, а старт задачек через CLI как-то отличается, если настроен Celery?
В дефолтном пукелевском контейнере пытаюсь в контейнере с шедулером через airflow test ... запустить таск, и он пытается что-то в SQLite писать
В дефолтном пукелевском контейнере пытаюсь в контейнере с шедулером через airflow test ... запустить таск, и он пытается что-то в SQLite писать
Да, вам надо пробросить в энвайронменте коннекшон пробросить к используемой базе
BB
Rbac + ldap в 1.10.10 без танцев с бубном ( заменой webserver.py и прочее ) включается ? Толково не нашел, все что-то правят , куда - то лезут и тд.
VS
Без webserver rbac на фласке не включить. Это не танцы с бубном, это нормальная практика
BB
Без webserver rbac на фласке не включить. Это не танцы с бубном, это нормальная практика
Ну как это не включить, если мне не пришлось ничего менять / дописывать, а использовался обычный пукельский образ. Обошелся всего env переменными .