Телеграмм чат группы aws

Привет.
Кто работает с DMS, как его дебажить?
Миграция выполняется, ошибок нет. А по факту ничего не мигрирует.
LOGGER_SEVERITY_DETAILED_DEBUG установлен

хоть какая база? из чего во что мигрируется?

источник

00:15пожаловаться #5

AP

Alexander Patrushev in AWS_RU

Artem D.

т.е. по событию? можно сделать чтоб на edge лямбда прогревала контент если он вдруг ставится miss, без запроса юзера?

Lambda@edge позволяет перехватывать запрос на любой стадии и манипулировать с ним (хоть Хидер, хоть путь переписать). В том, примере про неё и картинки перехватывают когда данных нет в кэше и надо сходить в origin. В этот момент проверяют наличие нужного размера на s3 и если его нет, то генерируют и пропускают запрос дальше. Таким образом ресайз происходит только если нет такого размера + трафик из CF дешевле. Если такой размер есть, то лямбда просто ничего не делает. По моему опыту Это быстрее и дешевле чем api gw как origin для картинок, но точно стоимость можно сравнить только на основе статистики.

источник

00:16пожаловаться #6

D

Denis 災 nobody in AWS_RU

жесть

источник

00:17пожаловаться #7

AD

Artem D. in AWS_RU

Alexander Patrushev

Lambda@edge позволяет перехватывать запрос на любой стадии и манипулировать с ним (хоть Хидер, хоть путь переписать). В том, примере про неё и картинки перехватывают когда данных нет в кэше и надо сходить в origin. В этот момент проверяют наличие нужного размера на s3 и если его нет, то генерируют и пропускают запрос дальше. Таким образом ресайз происходит только если нет такого размера + трафик из CF дешевле. Если такой размер есть, то лямбда просто ничего не делает. По моему опыту Это быстрее и дешевле чем api gw как origin для картинок, но точно стоимость можно сравнить только на основе статистики.

да, но вроде размер хранимых данных может вырасти. но думаю не очень ощутимо

источник

00:18пожаловаться #8

AD

Artem D. in AWS_RU

а еще вопрос, как вообще дорого копировать данные из бакета в бакет между регионами? порядка 2 центов за GB?

источник

00:18пожаловаться #9

DZ

Dmytro Zavalkin in AWS_RU

Artem D.

вопрос такой. юзер идет за картинкой на cloudfront origin'ом служит api gateway а за ним лямбда, которая резайзит картинку которую находит в s3 бакете. юзер получает хедеры типа

cache-control: max-age=31536000,public
expires: Wed, 03 Mar 2021 12:55:07 GMT

странно, но я ожидаю, что картика будет находится на edge довольно долго, пускай не год, в итоге через примерно пару часов получаю

x-cache: Miss from cloudfront

причем cache-control пробрасывается с origin. т.е. cloudfront по идее должен его обрабатывать, но почему-то этого не происходит. что это может быть?

а точно в клаудфронте не настроен override max-age?

источник

00:21пожаловаться #10

AD

Artem D. in AWS_RU

вроде бы даже нет

источник

00:22пожаловаться #11

AD

Artem D. in AWS_RU

Denis 災 nobody

жесть

изза картинок?

источник

00:22пожаловаться #12

AP

Alexander Patrushev in AWS_RU

Artem D.

ну вроде бы может даже не дешевле т.к. будет взыматься плата за передачу данных в регион где запускается lambda из региона где находится бакет с картинкой для ресайза.

Это cross region трафик и он сильно дешевле обычного. Сейчас вы платите за лямбду и вызов api gw. Как вариант сделаете две дистрибуции и пустите на каждую по 50% трафика, там и точно будет понятно что дешевле. Сейчас сложно оценить что будет дешевле, тк нет конкретной статистике по количеству запусков. Или как вариант соберите немного статистики и я помогу вам сравнить стоимость этих вариантов. Свой адрес в amazon.lu если надо скину в личном сообщении.

источник

00:22пожаловаться #13

AD

Artem D. in AWS_RU

ага спасибо

источник

00:23пожаловаться #14

DZ

Dmytro Zavalkin in AWS_RU

кстати, сегодня выкатили кучу вкусных новинок:
https://aws.amazon.com/about-aws/whats-new/2020/03/automate-index-management-with-amazon-elasticsearch-service/
https://aws.amazon.com/about-aws/whats-new/2020/03/build-k-nearest-neighbor-similarity-search-engine-with-amazon-elasticsearch/

Amazon Web Services, Inc.

Automate index management with Amazon Elasticsearch Service

источник

00:24пожаловаться #15

AP

Alexander Patrushev in AWS_RU

Artem D.

да, но вроде размер хранимых данных может вырасти. но думаю не очень ощутимо

С учётом стоимости S3 это не должно быть проблемой. Постоянный ресайз каждой картинки наверняка будет дороже.

источник

00:26пожаловаться #16

AP

Alexander Patrushev in AWS_RU

Artem D.

а еще вопрос, как вообще дорого копировать данные из бакета в бакет между регионами? порядка 2 центов за GB?

For CRR, you also pay for inter-region Data Transfer OUT From S3 to your destination region. Те цена трафика между регионами. Для разных пар регионов она разная

источник

00:28пожаловаться #17

FC

Farah Clara in AWS_RU

Greetings from Indonesia 👋🏻

источник

11:48пожаловаться #18

AS

Alexey Stekov in AWS_RU

Farah Clara

Greetings from Indonesia 👋🏻

Hello