Телеграмм чат группы aws

2020 July 09

DK

Кто работал с GPU и ECS, не могу понять как работает scheduler в плане ресурсов

DK

service was unable to place a task because no container instance met all of its requirements.

На инстансе один GPU, поставил deployment_minimum_healthy_percent = 0 в TF, оно все равно не хочет отпускать единственный GPU

источник

13:08пожаловаться #2

ᅠ

ᅠ in AWS_RU

Всем привет, начал изучать cloudformation, подскажите, что нужно указать в S3Key в темплейте для лямбды? Указал S3Bucket и ZipFile, но выбивает "Exactly one of S3Bucket and ZipFile must be specified" так что видимо и S3Key указать нужно

источник

13:48пожаловаться #3

S

Salem in AWS_RU

бери сразу sam темплейт, не мучайся

источник

13:51пожаловаться #4

NA

Nikolay Avdushkin in AWS_RU

Подскажите чзх, копирую бакет с одного аккаунта на другой, полиси настроил, дал полный доступ, но при синке все равно выдается ошибка
An error occurred (AccessDenied) when calling the CopyObject operation: Access Denied

источник

15:14пожаловаться #5

KT

Karen Tovmasyan in AWS_RU

а кому полный доступ дал?

источник

15:15пожаловаться #6

NA

Nikolay Avdushkin in AWS_RU

https://aws.amazon.com/premiumsupport/knowledge-center/copy-s3-objects-account/
В соответствии с эти мануалом, разрешил руту второго аккаунта делать всё с s3 первого аккаунта

Amazon Web Services, Inc.

Copy S3 Objects From Another AWS Account

источник

15:17пожаловаться #7

NA

Nikolay Avdushkin in AWS_RU

Единственное смущает, что я под рутом это делаю, я так понял, мне нет смысла выполнять второй пункт мануала, по прикрепление IAM к пользователю

источник

15:17пожаловаться #8

NA

Nikolay Avdushkin in AWS_RU

Хм, хотя я смотрю вроде файлы копируются, но не все, на некоторые запрещен доступ, хотя я вайлдкард указал

источник

15:21пожаловаться #9

RS

Roman Sevko in AWS_RU

Nikolay Avdushkin

Единственное смущает, что я под рутом это делаю, я так понял, мне нет смысла выполнять второй пункт мануала, по прикрепление IAM к пользователю

Из-под рута работать, говоря дипломатично, плохая практика. Кроме проблем безопасности, для него просто не работает IAM.

Если нужно просто перекинуть файлы, то поставив доступ на запись во бакете назначения, добавляйте к команде ключик bucket-owner-full-control.

aws_notes

Бывает, что, казалось бы, банальное копирование файлов в #s3 бакет:

aws s3 cp ./ s3://some-bucket/files --recursive

Когда это происходит из другого аккаунта, когда бакет расположен в другом регионе или с локального компьютера (между бакетами и т.п. не самые ординарные случаи), даёт странный эффект (#issue) — всё благополучно копируется, но после сам владелец бакета с админскими правами не может получить скопированное, получая #error:

An error occurred (AccessDenied) when calling the GetObject operation: Access Denied

И даже через консоль получаем ошибку доступа к файлам:

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<Error> <Code>AccessDenied</Code> <Message>Access Denied</Message>...

Причина - у Owner-а бакета нет никаких прав на записанное (картинка ниже).
Чтобы исправить — повторяем копирование на источнике с добавлением нужных #ACL #permissions с помощью ключика --acl bucket-owner-full-control, который сразу обеспечит каждому объекту…

источник

15:34пожаловаться #10

RS

Roman Sevko in AWS_RU

Но правильней использовать вариант из примера, однако там нужны IAM пользователи.

источник

15:35пожаловаться #11

NA

Nikolay Avdushkin in AWS_RU

Roman Sevko

Из-под рута работать, говоря дипломатично, плохая практика. Кроме проблем безопасности, для него просто не работает IAM.

Если нужно просто перекинуть файлы, то поставив доступ на запись во бакете назначения, добавляйте к команде ключик bucket-owner-full-control.

aws_notes

Бывает, что, казалось бы, банальное копирование файлов в #s3 бакет:

aws s3 cp ./ s3://some-bucket/files --recursive

Когда это происходит из другого аккаунта, когда бакет расположен в другом регионе или с локального компьютера (между бакетами и т.п. не самые ординарные случаи), даёт странный эффект (#issue) — всё благополучно копируется, но после сам владелец бакета с админскими правами не может получить скопированное, получая #error:

An error occurred (AccessDenied) when calling the GetObject operation: Access Denied

И даже через консоль получаем ошибку доступа к файлам:

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<Error> <Code>AccessDenied</Code> <Message>Access Denied</Message>...

Причина - у Owner-а бакета нет никаких прав на записанное (картинка ниже).
Чтобы исправить — повторяем копирование на источнике с добавлением нужных #ACL #permissions с помощью ключика --acl bucket-owner-full-control, который сразу обеспечит каждому объекту…

Да это понятно что под рутом сидеть грешно, просто на время миграции решил не заморачиваться по IAM. За ссылку спасибо, гляну

источник

15:35пожаловаться #12

NA

Nikolay Avdushkin in AWS_RU

Roman Sevko

Из-под рута работать, говоря дипломатично, плохая практика. Кроме проблем безопасности, для него просто не работает IAM.

Если нужно просто перекинуть файлы, то поставив доступ на запись во бакете назначения, добавляйте к команде ключик bucket-owner-full-control.

aws_notes

Бывает, что, казалось бы, банальное копирование файлов в #s3 бакет:

aws s3 cp ./ s3://some-bucket/files --recursive

Когда это происходит из другого аккаунта, когда бакет расположен в другом регионе или с локального компьютера (между бакетами и т.п. не самые ординарные случаи), даёт странный эффект (#issue) — всё благополучно копируется, но после сам владелец бакета с админскими правами не может получить скопированное, получая #error:

An error occurred (AccessDenied) when calling the GetObject operation: Access Denied

И даже через консоль получаем ошибку доступа к файлам:

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<Error> <Code>AccessDenied</Code> <Message>Access Denied</Message>...

Причина - у Owner-а бакета нет никаких прав на записанное (картинка ниже).
Чтобы исправить — повторяем копирование на источнике с добавлением нужных #ACL #permissions с помощью ключика --acl bucket-owner-full-control, который сразу обеспечит каждому объекту…

Кстати эти ключи не помогли, копируется также часть файлов только, но это пока под рутом только

источник

15:47пожаловаться #13

RS

Roman Sevko in AWS_RU

Nikolay Avdushkin

Кстати эти ключи не помогли, копируется также часть файлов только, но это пока под рутом только

Речь про команду aws s3 cp или aws s3 sync?

источник

15:48пожаловаться #14