зачем wal/db отдельно

Чтобы
- сильно не переделывать свои имеющиеся скрипты под ссд
- иметь возможность быстро слить их на, нвме, например

Что уважаемые посоветуют для хранения >>5кк файлов, под 150Тб места? Нужно просто нжинксом отдавать статику

Сейчас банально 4 сервера у хетцнера с  дисками 4*10Tb, на каждом сервере свой nginx, ну и в базе прописано куда за каким файлом лезть

Всё хорошо, но хочется EC

Ceph кажется оверкиллом

Moosefs забесплатно не умеет EC

Lizardfs какой-то неживой (и есть жалобы на надёжность)

Minio негибкий (нельзя взять и добавить один диск)

freebsd+zfs (работает ок)

Не хочется один жирный хост (и даже не можется)

Плюс расширение опять же геморрой

зависит от профиля твое нагрузки и перспектив, но возможно что ты на самом деле не хочешь EC (ec в любом виде это примерно 10-ти кратный просад по производительности из-за дисков)

тогда непонятно чего ты мучаешься.

Это просадка при ребилде

Который раз в несколько лет случается

у zfs они достаточно минимизированны

На readonly нагрузке любой ec себя хорошо ведёт

Так что аргумент про просадку производительности не принимается

а с балансировкой -- я вот тоже не понимаю как это можно поддерживать более-менее оптимальным при расширениии кластера.
(в исходники не смотрел)
как я понимаю файл в pg помещается по последним битам хеша. т.е. если их (pg) не 2^n -- то уже имеем неравномерность.
но osd у нас не 2^n (мы же не можем кластер каждый раз удваивать?). более того, копий pg у нас тоже не 2^n! их либо x3 или x(2^n+2).
т.е. pg на osd уже будет неравномерно. и не очень много. и если osd разного размера -- это еще добавит дисбаланса.