куча запросов - дорого

Размер файлов может быть от 20-500мб.

Нет, файла временные потом можно спокойно удалять

- s3fs только в контейнере работает или без тоже?
- на сколько оно дорого?
- на сколько быстро считывает файлы и загружает, если размер 20-500мб

1. Сомневаюсь насчет без
2. зависит от того что надо
3. общий, или размер файлов?

если у тебя 500мб файлов по 1кб, то будет долго

если железно не больше 500 мб, пользуй /tmp :)

Сегодня железно 400,завтра 600)

ну это понятно, потому и предупредил :)

причем это хард лимит

вдвойне надо быть аккуратным

Обычно такие коммитменты хоть где-то видны постфактум, а тут — ничего, даже в хистори суппорта нет запроса на изменение условий пользования. Может, знаете, как  такой контракт можно найти сейчас на аккаунте? Суппорт пока молчит.

насколько временные и что за файлы? Может можно и на диск не писать или писать сразу gzip стрим и удалять потом?

размер /tmp у lambda 512mb получается

надо на диск именно, там программа другая не умеет считывать стримы, s3 и прочее - только вот так умеет работать с файлами,
которые лежат на диске.

Temporary storage with /tmp
The Lambda execution environment provides a file system for your code to use at /tmp. This space has a fixed size of 512 MB. The same Lambda execution environment may be reused by multiple Lambda invocations to optimize performance. The /tmp area is preserved for the lifetime of the execution environment and provides a transient cache for data between invocations. Each time a new execution environment is created, this area is deleted.
Consequently, this is intended as an ephemeral storage area. While functions may cache data here between invocations, it should be used only for data needed by code in a single invocation. It’s not a place to store data permanently, and is better-used to support operations required by your code.

кхм и это программа тоже запихнута в лямбду?

1. я настроил сейчас aws lambda без контейнеров, нужен ли мне контейнер? только ради s3fs я так понимаю
2.
- файлы размером 512мб, сомневаюсь что будут больше но кто знает,
- файл один большой от 4-500мб,
- сохранять в папку /mnt/ - потому что файл надо шарить между lambdas
- файлы временные, файл переноситься в другое хранилище и больше он нам не нужен, и мы его удаляем (я поэтому в efs использовал настройку хранить 7дней и потом удалять)
3. размер одного файла 4-500мб, интересно как хорошо с этим работает s3fs
---
вроде максимально подробно описал, может теперь больше подсказок будет куда мне копать

все на lambdas