ME
да, в конфиге надо указать
Size: a a a
2020 October 09
ME
и он открывать тоже с с3 будет
MD
Есть пример работающий ?
ME
remote_logging = True
remote_base_log_folder = s3://bucket/logs/
ME
наверное надо boto3 туда включить ещё при установке
ME
ну и это у меня на ЕС2, если нет, надо ещё креды прописать в коннекшене:
remote_log_conn_id =MD
ну и это у меня на ЕС2, если нет, надо ещё креды прописать в коннекшене:
remote_log_conn_id =Вот меня это больше всего интересует
MD
S3 connection ID
The
The
s3_uri above is a connection ID that I made up. In Airflow, it corresponds to another environment variable, AIRFLOW_CONN_S3_URI. The value of that is your S3 path, which has to be in URI form. That'ss3://access_key:secret_key@bucket/key
Store this however you handle other sensitive environment variables.ME
машинка не на ec2?
MD
машинка не на ec2?
Нет, outside
MD
S3 connection ID
The
The
s3_uri above is a connection ID that I made up. In Airflow, it corresponds to another environment variable, AIRFLOW_CONN_S3_URI. The value of that is your S3 path, which has to be in URI form. That'ss3://access_key:secret_key@bucket/key
Store this however you handle other sensitive environment variables.Вот предлагают указывать такой s3uri, у меня вопрос возникает как указать endpoint
ME
тогда коннект создать и на его сослаться
ME
MD
Не опция, используется helm etc
MD
S3 connection ID
The
The
s3_uri above is a connection ID that I made up. In Airflow, it corresponds to another environment variable, AIRFLOW_CONN_S3_URI. The value of that is your S3 path, which has to be in URI form. That'ss3://access_key:secret_key@bucket/key
Store this however you handle other sensitive environment variables.Это я взял из https://stackoverflow.com/a/47947127/6484930
ME
А просто указать
remote_base_log_folder = s3://access_key:secret_key@bucket/keyесли?
MD
А откуда endpoint тогда известен будет ?
MD
Подозреваю что нужно сгенерировать URL и указать на conn
ДН
Там надо в extras вписывать почти все, посмотрите как s3hook параметры считывает
ME
А откуда endpoint тогда известен будет ?
Какой endpoint?