ну так в сиавид файлер тоже одно из хранилок умеет постгрю

)

они вроде от него открестились

элиптикс был вроде в яндекс музыке

На самом деле, оно может быть хоть из говна и палок собрано.
Для value хранилища все, что тебе требуется - это, собственно, хранилки, которые умеют в put/get/delete, небольшая метабаза с инфой, какие пары/тройки/n-ки дисков на каких серверах находятся, и немного логики, которая может: сгенерить для put-операции уникальный рандомный ключ, в котором закодирован идентификатор наиболее незанятой n-ки дисков и записать value на эту n-ку по ключу, для get/delete вытащить из ключа n-ку, обнаружить через метабазу, какие серверы её обслуживают и забрать/удалить с них value.

Слепить такого рода value-хранилище можно хоть на nginx+mysql+bash и масштабироваться оно будет пуще любого ceph из-за своих свойств (минимум метадаты, которую просто хранить, в которой минимум внутренних зависимостей по данным, которая редко обновляется). Самой главной проблемой будет эффективное хранение кучи блобов на диске (для колхоза nginx+mysql+bash, впрочем, можно хоть тупо по дереву каталогов раскидывать).

В яндексе подобная архитектура использовалась в почте (а затем и в диске) ещё с конца 90-х ещё до всяких эллиптиксов.

На эллиптикс и mediastorage, к слову перешли с предыдущей самописной системы, скорее, для повышения технологичности и простоты поддержки, по сути, оставив архитектуру почти неизменной. Только место старого софта хранилки и rsync-а занял elliptics, место дерева на ФС - eblob, а вместо mysql и библиотеки-локатора/гейтвея - mediastorage.

Фэйсбук хранил фотки в бинарях размером около 1гб, маппинг в базе говорил какой файл читать и с какого по какой байт. Самая простая схема.

Это во-первых, говорит только об оптимизации локального хранения данных на нодах, но ничего не говорит об архитектуре распределенного хранилища.
И, во-вторых, немного напоминает по способу организации eblob (хотя и не полностью) :)

S3  и galera как key-value вроде там было

Еблоб хорошее название

Если б было б у меня ебло б

"Если б я бы баб не ёб бы" (с) пневмослон

е-бланки звучит задорнее

Е-баллы

Эхх золотые были времена, мулька, жонглирование дисками в ДЦ, а потом тестирование эллиптикса.

А сейчас полностью на эллиптикс перешли? Я помню как-то Полякову показывал, что dht для почты не сработает, он обещал что-то с этим сделать, к сожалению итога не дождался, ушёл из Я. Почты

Судя по посту на хабре, у них там теперь некое S3, в качестве базового слоя то ли эллиптикс то ли то что от него осталось, а поверх метабаза на postgresql, выше ссылку кидал