Ребят, подскажите, плиз по одному моменту
Запускаю докер через образ puckel/airflow. Проблема в том, что все время при рестарте контейнеров вылезает ошибка cryptography.fernet.InvalidToken, когда он пытается подключиться к имеющемся коннектам.
Я немного почитал и обнаружил, что нужно в airflow.cfg написать переменную fenter_key = сгенерированный. Я это сделал внутри контейнера, но это не спасло ситуацию и при перезапуске контейнера он как будто генерит этот ключ снова

Мм не знаю, я его пробрасывал через энвайронмент. Но судя по названию ошибки, вам стоит сгенерировать более корректный

не, ключ корректный, вот только нужно удалять запись из таблицы connections и создавать снова, и похоже, что этот статичный ключ он не берет(

Просто в сервис с airflow в docker-compose.yml добавляли переменную окружения AIRFLOW__CORE__FERNET_KEY?

уно моменто…у вас она на каждом компоненте указана?

вы какой екзекьютор юзаете?

селери?

Local

Нет, для пукеля FERNET_KEY называется переменная

какая там схема? веб и воркер?

веб вроде, если я правильно понимаю о чем речь

а это норма в докер файле хранить токен? или как туда его прокинуть?

FERNET_KEY=

угу да, Сергей правильно написал

нууу как.....

скажем так это меньшее зло и не сильно страшное

ок, спасибо за ответы!)

Используйте или энв-файл напрямую, или упакуйте в docker-compose и тогда положите рядом в файлик .env

Привет!

Можете подсказать, как скопировать файлы из одной папки hdfs в другую по маске? Я к тому, что до этого использовала только webhdfshook: выбирала активную ноду, потом делала, что было нужно. Но в нем нет команды copy, насколько я понимаю. Можно сделать только read+write, мне бы так не хотелось(

По своему опыту могу посоветовать одно. Если в HDFS есть такая команда, то самый простой путь — дописать её в webhdfshook и использовать модифицированную версию

Всем привет!
Есть какие установленные минимальные требования к железу кластера у Airflow?