Телеграмм чат группы ruairflow страница 1381

Почему странный? Это же логин любой

Почему любой?

15:02пожаловаться #1

Для авторизации пара acess_key_id:secret_access_key

15:02пожаловаться #2

Мы minio используем

15:02пожаловаться #3

там же через extra это все прописывается

15:02пожаловаться #4

там же через extra это все прописывается

Не знаю, как в минио, но судя по переподключению, conn не кэшируется

15:03пожаловаться #5

Да, и вот я не могу понять в чем проблема

15:03пожаловаться #6

Мб конечно minio как то странно отдаёт access token при логине

15:04пожаловаться #7

И он его не принимает

15:04пожаловаться #8

Airflow/minio: How do I use minio as a local S3 proxy for data sent from Airflow?

Да, и вот я не могу понять в чем проблема

https://stackoverflow.com/questions/55529401/airflow-minio-how-do-i-use-minio-as-a-local-s3-proxy-for-data-sent-from-airflow

Как тут extra?

Stack Overflow

Simple question:

Rather than using S3 or GCS, I'd like to know how to use minio as a local S3 proxy to hold Airflow-sent data. How do I do this? Can I use the FileToGoogleCloudStorageOperator or not

15:04пожаловаться #9

{"aws_access_key_id":"minio", "aws_secret_access_key": "minio123", "host": "localhost:9001"}

15:05пожаловаться #10

да

15:05пожаловаться #11

И он его не принимает

Попробуй в интепретаторе заюзать S3Hook, любая среда с airflow и теми же настройками сработает

15:05пожаловаться #12

airflow.providers.amazon.aws.hooks.base_aws.AwsBaseHook._get_credentials
вот он в этот метод всегда проваливается в итоге

15:07пожаловаться #13

а если extra encrypted, он умеет кешировать коннект?

15:07пожаловаться #14

Хм, а у кого-то используется получение секретов из Vault? Где вы храните токен для доступа к сам Vault?)

18:43пожаловаться #15

Staseello in Airflow

Max Efremov

Хм, а у кого-то используется получение секретов из Vault? Где вы храните токен для доступа к сам Vault?)

Через куберовский JWT можно ходить в Vault, если дело в кубере происходит)

19:02пожаловаться #16

Staseello

Через куберовский JWT можно ходить в Vault, если дело в кубере происходит)

пока нет(

19:03пожаловаться #17

Staseello in Airflow

Тогда не подскажу 🙁 Кажется хранить его в Variables не оч секьюрно(даже если включен LDAP)

19:03пожаловаться #18

Закину всё пока в переменные окружения 😂 А то переменные самого Airflow больно светятся в админке(

19:03пожаловаться #19