DZ
Ещё в 17 году создавали через тамов фичереквест но похоже воз и ныне там. Хотя это дофига востребованная фича для всех еу компаний и гдпр...
Size: a a a
2020 February 07
IN
Всем хорошего дня. У меня вопрос возник, может кто-то знает изящное решение. У меня есть S3 бакет в одном регионе, я решил реплицировать его в другой регион, все настроил - все ок, все работает, но реплицируются только новые объекты (ну логично). Как бы мне теперь изящно перегнать все "старые" объекты из бакета в бакет? На ум приходит только решение поднять EC2 инстанс, накатить туда screen и aws cli и перегонять все через s3 sync. Хочется чего-то более изящного. Есть идеи? ВНИМАНИЕ нюанс - в бакете 7 терабайт объектов.
Как костыль, можно попробовать использовать что-то типа Cloudberry S3 Explorer https://www.msp360.com/explorer/windows/amazon-s3.aspx
Есть бесплатная и про версия. 15 дней триалка.
Есть бесплатная и про версия. 15 дней триалка.
VT
Как костыль, можно попробовать использовать что-то типа Cloudberry S3 Explorer https://www.msp360.com/explorer/windows/amazon-s3.aspx
Есть бесплатная и про версия. 15 дней триалка.
Есть бесплатная и про версия. 15 дней триалка.
7TB.
Платный тул для винды здесь точно не нужен.
Платный тул для винды здесь точно не нужен.
VT
Всем хорошего дня. У меня вопрос возник, может кто-то знает изящное решение. У меня есть S3 бакет в одном регионе, я решил реплицировать его в другой регион, все настроил - все ок, все работает, но реплицируются только новые объекты (ну логично). Как бы мне теперь изящно перегнать все "старые" объекты из бакета в бакет? На ум приходит только решение поднять EC2 инстанс, накатить туда screen и aws cli и перегонять все через s3 sync. Хочется чего-то более изящного. Есть идеи? ВНИМАНИЕ нюанс - в бакете 7 терабайт объектов.
DZ
aws s3 cp s3://source-awsexamplebucket s3://source-awsexamplebucket --recursive --storage-class STANDARD
This command copies objects in the source bucket back into the source bucket, which triggers replication to the destination bucket.DZ
Этот костыль и для шифрования используют
DZ
Но если 7тб мелкими файлами то всё равно неприятно
I
Dmytro Zavalkin
aws s3 cp s3://source-awsexamplebucket s3://source-awsexamplebucket --recursive --storage-class STANDARD
This command copies objects in the source bucket back into the source bucket, which triggers replication to the destination bucket.Ну грубо говоря я так и планировал, но это печалька.
I
Вот это любопытно, спасибо. Смотрю на S3 Batch operations.
I
Ииииии похоже оно мне поможет. https://docs.aws.amazon.com/AmazonS3/latest/dev/batch-ops-copy-object.html
DZ
Только осторожно:
Objects are not necessarily copied in the same order as they are listed in the manifest. So for versioned buckets, if preserving current/non-current version order is important, you should copy all non-current versions first and later copy the current versions in a subsequent job after the first job is complete.
Objects are not necessarily copied in the same order as they are listed in the manifest. So for versioned buckets, if preserving current/non-current version order is important, you should copy all non-current versions first and later copy the current versions in a subsequent job after the first job is complete.
AS
смотрите сколько всего сразу)
AS
Jenkns написано вместо Jenkins это как фича ?
видимо - я так показать - что тут есть)
AS
Jenkns написано вместо Jenkins это как фича ?
но чтоб не посчитали рекламой - удалю)
VT
хм...интересно
https://docs.aws.amazon.com/vpc/latest/userguide/vpc-nat-comparison.html
до сих пор не содержит одного из главных моментов - нельзя AWS NAT Gateway использовать для NAT private -> private.
https://docs.aws.amazon.com/vpc/latest/userguide/vpc-nat-comparison.html
до сих пор не содержит одного из главных моментов - нельзя AWS NAT Gateway использовать для NAT private -> private.
VT
Часто нужно скрыть одну подсеть от других из-за оверлапинга.
VT
https://docs.aws.amazon.com/vpc/latest/userguide/VPC_NAT_Instance.html
пока решение только.
пока решение только.
I
Dmytro Zavalkin
Только осторожно:
Objects are not necessarily copied in the same order as they are listed in the manifest. So for versioned buckets, if preserving current/non-current version order is important, you should copy all non-current versions first and later copy the current versions in a subsequent job after the first job is complete.
Objects are not necessarily copied in the same order as they are listed in the manifest. So for versioned buckets, if preserving current/non-current version order is important, you should copy all non-current versions first and later copy the current versions in a subsequent job after the first job is complete.
Ага. Версионность включена из-за репликации у меня, но версий у объектов не должно быть по логике сервиса, который юзает бакет.