ДЖ
Коллеги, добрый день! Прошу помочь, как можно изменить адрес airflow_network при сборке через docker-compose.yaml. По умолчанию он создает адрес с IP 192, а это может конфликтовать с нашими внутренними сетями
Size: a a a
2021 May 12
ДЖ
т.е. чтобы можно было изменить на фиксированный IP, Например 192.168.Х.0
AC
Привет! А в последней версии Airflow, пакеты также ставятся на воркер из requirements.txt?
SC
AC
О, спасибо, не увидел, попробуем!
ДЖ
Коллеги, кто -нибудь может помочь?
VS
Идите в композ и правьте, этот вопрос не касается airflow
ДЖ
Спасибо) Буду ковыряться с настройками docker-compose.
ДЖ
А у Вас Airflow 2?
ДН
если ваша корпоративная сеть конфликтует с дефолтными адресами докера, лучше просто определить другую подсеть для докера в daemon.json
ДЖ
Я по совету Владислава указал в Docker-compose принудительно ip адрес сети
R
не. у меня 1.10.9 со стандартной сборокой https://github.com/puckel/docker-airflow
ДЖ
смог установить только изменением исходного образа
R
я в CeleryExecutor.yml только еще одну постгрес бд добавил но все с первого раза установилось
GB
Всем привет!
Наткнулся на следующую проблему: был криво настроен Fernet-ключ (в энтрипоинте образа, который сначала использовали, генерился каждый раз новый), это не мешало, пока Connections не использовались, впоследствии ключ я сделал одинаковым.
Это привело к тому, что свежесозданные коннекшны спокойно достаются, но вот из-за того, что дефолтные были заэнкрипчены бог знает чем,
Я хочу это исправить, но не могу найти точный ответ на следующий вопрос: если я запущу airflow db init, он же не затронет созданные кастомные коннекшны и просто пересоздаст дефолтные?
Наткнулся на следующую проблему: был криво настроен Fernet-ключ (в энтрипоинте образа, который сначала использовали, генерился каждый раз новый), это не мешало, пока Connections не использовались, впоследствии ключ я сделал одинаковым.
Это привело к тому, что свежесозданные коннекшны спокойно достаются, но вот из-за того, что дефолтные были заэнкрипчены бог знает чем,
airflow connections list возвращает ошибку невалидного токена. Я хочу это исправить, но не могу найти точный ответ на следующий вопрос: если я запущу airflow db init, он же не затронет созданные кастомные коннекшны и просто пересоздаст дефолтные?
SC
Все коннекшены ведь удаляются... Попробуйте сделать экспорт коннекшенов, вроде можно, через cli
SC
Как минимум пулы можно экспортировать...
AC
Подскажите, юзали Airflow 1.10, там были даги в которых таски создавались в цикле
"load_task_{task_number}". Подняли тестово версию 2.0.1, там вылетают ошибки:airflow.exceptions.DuplicateTaskIdFound: Task id has already been added to the DAGGB
task_number значит всё-таки не меняется в какой-то из итераций
AC
Интересно, может ли быть это связано с конструкцией with. Поглядим