А есть ли какие-либо истории типа:
я сделал s3-сервис вот так, наступил на вот такие грабли
?
пока выбор - minio, ceph - оверкилл

ну если ты документацию читаешь проблем нет

если базово то так

на маленькое хранилище до 300-500 тб минио хватит, но естесвенно читай доки про то как ec работает у них и прочее - те там нельзя менять ноды, нельзя заменять диски, когда половина кластера сдохнет надо собрать новый кластер и тд, нет ребаланса внутри те если одна нода по сети отъедет на сутки, а потом вернется будет заполненость данными корявая. Про цеф много нюансов в плане самого цефа - сколько ему надо железа что бы не болело, какой и как параметр из полутора тысяч покуртить

потом тебе надо понмить про совместимость - если самописный софт то пофиг че, если чужие либы или софт, то ой, например у свежего гитлаба и свежего минио проблемы с совместимостью хотя там aws fog либа. у артифактори тоже проблема

Звучит так, что minio работает только в идеальном вакууме. А если сломалось что - все тлен и данные в мусорку

ну смотри, там есть кластерная версия с ecx распределением данных - типа сетевой рейд. Балансировка-ребалансировка данных очень сложная штука(это понятно например по опыту эксплкатации цефа и вечной боли с балансировкой) ну и ребята тут бай дизайн проблему "решили" что ты сразу же считаешь размер кластера перед созданием, когда теряешь 50% дисков надо собрать новый кластер. Это больно на bm, а на вмках по идее вообще ситуация с потерей дисков малореальна, но тут опять же вопросы для чего s3 нужен, какая производительность нужна

мы сейчас минио юзаем на маленьких объемах совсем - типа десятки тб максимум в кластере, но с таким мизером проблем не бывает в общем то даже у цефа если уж совсем кривой конфиг не собрать

лучше конечно брать нормальные комерческие решения, если надо селфхостед то есть железки-софт у нетапп - стораджгрид.  для сотен тб Cloudian вполне ок

Спасибо, я спросил, а потом меня отвлекли и я не читал

там же нету всяких ssd-cache и прочего, верно?

есть, можно сказать типа вот эти диски быстрые

ну это именно что кеш, а не тиринг, те прям тупо тупо все.

воу, а минио сильно лучше стал в моих глазах) Я думал он тупее

там и сжатие есть, тоже сделано максимально влоб, но работает без нареканий - говоришь типа файлы с таким то расширением жать и оно черех snappy жмет

самой большой проблемой может показаться то что в дистрибьютед режиме надл сразу посчитать сколько и чего тебе надо в плане емкости и производительности ну те пока вариантов типа сейчас сделаем так, а потом докинем - нет

> производительности ну те пока вариантов типа сейчас сделаем так, а потом докинем - нет

вот это меня и печалит.
Потому что я хочу сделать s3 хранилку, куда пихать любую фигню, а потом, когда фигня станет важной - перенести ее на нормальные сервера и диски

так это то как раз никак вразрез не идет с концепцией

почему? я же ничего не знаю про емкость и про требуемую скорость скорость