Size: a a a

2020 July 15

AE

Alexandr Eliseev in Airflow
Oleg Ilinsky
У меня уже много тасок завершилось))
Хм, тогда моя простая гипотеза не сработала 🙂
источник

E

Edya in Airflow
Oleg Ilinsky
а кроме этих параметров никаких танцев не нужно?
нужно еще чтобы конекш был нормально прописан (тип, хост, extra (хост-бакет, ключи)) + рестарт вебсервера
источник

E

Edya in Airflow
свой конекшн через s3cmd можно потестить
источник

OI

Oleg Ilinsky in Airflow
Edya
нужно еще чтобы конекш был нормально прописан (тип, хост, extra (хост-бакет, ключи)) + рестарт вебсервера
а, вот в экстра я не закинул бакет, у меня он в schema)
источник

E

Edya in Airflow
да, он там все из extra берет - остальное не смотрит
источник

OI

Oleg Ilinsky in Airflow
Блин, а чота secret_key в экстра выглядит не очень
источник

E

Edya in Airflow
норм, если только у админов есть доступ к конекшнам
источник

OI

Oleg Ilinsky in Airflow
а для бакета парамер bucket_name в extra? чота в доках не вижу
источник

OI

Oleg Ilinsky in Airflow
Edya
да, он там все из extra берет - остальное не смотрит
{"aws_access_key_id":"login", "aws_secret_access_key": "password", "bucket_name": "my-bucket", "host": "my-host"}


такие? чота доков по названиям параметров особо нет
источник

ME

Max Efremov in Airflow
Пробую вот так:
источник

ME

Max Efremov in Airflow
Получилось вот так:
источник

ME

Max Efremov in Airflow
Зафейлилась вторая таска в первой колонке
источник

ME

Max Efremov in Airflow
первую во второй не почистил(
источник

ME

Max Efremov in Airflow
Хотя, мб после очистки он сразу запускает первую во второй колонке, а она фейлится, т.е. предыдущая не завершилась 🤔
источник

С

Сюткин in Airflow
Max_active_run =1
источник

ME

Max Efremov in Airflow
да это есть...
источник

E

Edya in Airflow
Oleg Ilinsky
{"aws_access_key_id":"login", "aws_secret_access_key": "password", "bucket_name": "my-bucket", "host": "my-host"}


такие? чота доков по названиям параметров особо нет
у меня так. Там от самого s3 зависит как параметры называются (c aws_ или без)
источник

OI

Oleg Ilinsky in Airflow
Edya
у меня так. Там от самого s3 зависит как параметры называются (c aws_ или без)
Спасибо! У меня minio, ща поищу, какие параметры ему нужны
источник

OI

Oleg Ilinsky in Airflow
Edya
у меня так. Там от самого s3 зависит как параметры называются (c aws_ или без)
вот так работает
Судя по обилию различных версий именования параметров - это были многочисленные эксперименты?)
источник

E

Edya in Airflow
Oleg Ilinsky
вот так работает
Судя по обилию различных версий именования параметров - это были многочисленные эксперименты?)
Это копипаста с другого конекшна, у меня несколько разных s3
источник