Size: a a a

2020 February 06

DZ

Dmytro Zavalkin in AWS_ru
Igor
спасибо, тогда уточню. Есть несколько EC2 которые находятся в приватной сети, т.е. за nat gw. Нужно скачивать порядка 2-3 тербайта в день (последовательно). Сейчас я так понимаю что использование vpc endpoint s3 будет сильно экономичнее в плане счета за траффик. Сохранится ли такое же условие при использовании vpc endpoint s3 со storage gateway, когда маунтишь s3 как файловую систему?
что такое VPC S3 endpoint - это просто правила в route table которые говорят чтобы пакеты на вот эти публичные айпишники S3 в этом регионе роутили траффик через этот виртуальный девайс (есть IGW, есть NAT GW а это вот еще один)
источник

DZ

Dmytro Zavalkin in AWS_ru
не важно откуда траффик внутри VPC исходит, хоть из RDS из sotred procedure
источник

AP

Alexander Patrushev in AWS_ru
Alexander Patrushev
Кэш имеет два уровня: edge, это то что разбросано по городам и странам и regional, это большой кэш в ближайшем регионе.
Если данные запрашиваются в первый раз, то edge обращается в regional и regional к origin (s3).
@VasilyPantyukhin поправил мою неточность:

Regional edge cache locations are currently used only for requests that need to go back to a custom origin; i.e. requests to S3 origins will skip regional edge cache locations. https://aws.amazon.com/cloudfront/faqs/
источник

VP

Vasily Pantyukhin in AWS_ru
Igor
спасибо, тогда уточню. Есть несколько EC2 которые находятся в приватной сети, т.е. за nat gw. Нужно скачивать порядка 2-3 тербайта в день (последовательно). Сейчас я так понимаю что использование vpc endpoint s3 будет сильно экономичнее в плане счета за траффик. Сохранится ли такое же условие при использовании vpc endpoint s3 со storage gateway, когда маунтишь s3 как файловую систему?
По поводу File Storage GW :)

Если у вас доступ к FileGW по Direct Connect Private VIF или VPN, и вы хотите ходить исключительно в приватке, то вы должны создать Interface Endpoint для Storage GW и Gateway Endpoint для S3. Это точно работает. :)

Суть такая:
- Storage GW Interface Endpoint создает отдельный ENI в каждой подсети, к которой он привязан. Поэтому он и называется Interface Endpoint :) Например, в AZ-A - 172.31.85.105, в AZ-B - 172.31.20.67 и т. д. Есть два типа DNS имен этой ENI - региональный и AZ. Запрос на ресолв к региональному возвращает список IP адресов в каждой AZ. При настройке доступа к File GW рекомендуется использовать региональный FQDN.

- Когда вы создаете S3 Gateway Endpoint вы указываете таблицу маршрутизации, привязанную к конкретным подсетям, в которых он будет доступен. В самой таблице маршрутизации указано, что если вы хотите идти на диапазоны белых адресов, по которым доступен сервис S3 (54.231.0.0/17, 52.216.0.0/15, 3.5.16.0/21, 3.5.0.0/20), то надо идти по маршруту используя S3 GW в качестве следующего хопа. Это виртуальный маршрутизатор, поэтому он и называется Gateway Endpoint :) Ну а S3 Endpoint, в свою очередь, прокидывает траффик напрямую в сервис не выходя наружу.

- Логика доступа, например для VPN, такая:
Клиент -> NFS/SMB -> Storage Gateway апплайанс -> резолвинг регионального FQDN и Round Robin выбор одного из локальных IP в какой-то AZ -> локальный маршрутизатор CGW -> IPsec туннель -> AWS маршрутизатор VGW -> приватный IP Storage GW Interface Endpoint в AZ -> проверяем маршрут к S3 -> S3 Gateway Endpoint -> S3 -> Ура!

По этой логике получается, что между AZ трафик ходить не должен и вы экономите :)
источник

i

inqfen in AWS_ru
Ну и тут спрошу, тут все поживее
источник

i

inqfen in AWS_ru
Господа терраформисты, подскажите
источник

i

inqfen in AWS_ru
Есть aws провайдер, регион us-east-1
источник

i

inqfen in AWS_ru
Создаю им бакеты в этом регионе и еще кучке других, через foreach
источник

i

inqfen in AWS_ru
Они создаются - но потом apply падает с 403
error reading S3 Bucket (bucket-name): Forbidden: Forbidden
источник

i

inqfen in AWS_ru
удалить он их тоже не может
источник

i

inqfen in AWS_ru
то ли я что-то не так делаю
источник

i

inqfen in AWS_ru
То ли через эндпоинт одного региона можно создать бакет в другом регионе
источник

i

inqfen in AWS_ru
Но получить инфу о нем - нельзя
источник

g

greydjin in AWS_ru
Недавно (мне кажется что в декабре) изменилось поведение обращения к метадата серверу внутри инстанса и к нему стало возможно обратить только прям с хоста, 1 хоп, если пытаешься обратиться из контейнера docker на хосте, то при прохождении через docker bridge - один хоп теряется и из докера уже не получается достучаться до метадата сервера, встречались ли вы с таким?
в документации я нашел пример решения, в iam роль на инстанс нужно записать увеличенное значение хопов, чтобы контейнеры на нем работали. на картинке. если встречались-решались, поделитесь, действительно это для iam роли работает ?
источник

i

inqfen in AWS_ru
Мой вопрос выше отпадает, действиетльно, нужно ходить на эндпоит того региона, где бакет(
источник

VS

Vladimir Sennikov in AWS_ru
greydjin
Недавно (мне кажется что в декабре) изменилось поведение обращения к метадата серверу внутри инстанса и к нему стало возможно обратить только прям с хоста, 1 хоп, если пытаешься обратиться из контейнера docker на хосте, то при прохождении через docker bridge - один хоп теряется и из докера уже не получается достучаться до метадата сервера, встречались ли вы с таким?
в документации я нашел пример решения, в iam роль на инстанс нужно записать увеличенное значение хопов, чтобы контейнеры на нем работали. на картинке. если встречались-решались, поделитесь, действительно это для iam роли работает ?
У меня запускаются приложения в контейнерах, которые берут креды через instance profile и все работает
источник

g

greydjin in AWS_ru
Vladimir Sennikov
У меня запускаются приложения в контейнерах, которые берут креды через instance profile и все работает
это поведение появилось не так давно, тикет из которого я это прочитал в ноябре-декабре события описывает. с версии метадата сервера 1.25.38
источник

g

greydjin in AWS_ru
источник

IM

Ilya Meylikhov in AWS_ru
Всем привет! Кто подскажет - настраиваю amazon SES, нужно в DNS зону добавить CNAME записи, содержащие записи вида как указаны в ссылке на гайд https://docs.aws.amazon.com/ses/latest/DeveloperGuide/send-email-authentication-dkim-easy-managing.html
Вопрос - те значение, которые мне дал амазон не существуют (нет соответствующих значениям A или AAAA записей в dns зоне amazonses.com), прошли уже сутки. Как долго может занять процесс их создания со стороны амазона?
источник

IM

Ilya Meylikhov in AWS_ru
добавить несуществующие CNAME записи в DNS зону невозможно, днс регистратор не позволяет этого сделать
источник