Ну а так да, сравнение в точку.

будет Inconsistent плейсмент группа и при апуске repair само починится. В Bluestore контрольные суммы считаются же.

Из нашего опыта был даунтайм на пару дней, где вручную искали golden copy, при помощи непонятных скриптов из интернетов :(

Зареклись не делать реплику 2. Но мб мы что-то тогда сделали не так, я хз. Просто интересно, был ли у кого кейс :)

Потому и не рекомендуется делать так - в случае если одна из реплик в PG стала недоступна, процесс восстановления недостающей реплики группы должен пройти максимально быстро. Чтобы в принципе не возникло такой ситуации как ты описываешь)

У большинства производителей железа и софта в их колдовских книгах пишется что двоечка допустима только на nvme.

Но это все для другого чата беседа)

а что скажите насчет lvm soft raid на 4-х nvme, вставленных в адаптер (например asus hyper x16, или asrock аналогичный)?

т.е. будет ли такой хранилки достаточно для утилизации 2xcompute(ryzen 3950x 128gb), не станет диск узким местом?

самый простой кейс, создание в паралель 10/20 вм

Даже с одним nvme не стал бы.
Это ж тестовый стенд)

да тестовый, но не означает, что на нем не будет нагрузки, я же планирую доступы выдать знакоым, чтобы они и заняли эти ресурсы

Ну знакомые не будут же интенсивно и подолгу одновременно читать и писать и все случайно и мелкими блоками)

мало вероятно, но на всякий случай хотелось бы иметь запас, но из за настольного железа, просто может не хватить pci lanes

Да ну ладно тебе.
Самое бедовое что может быть это много одновременных запросов на случайную запись с флагами direct и sync.

В этом случае десктопный ссд и sata и nvme выдаст меньше тыщи iops. Но если поставить какие-нибудь серверные с батареями конденсаторов, то и тут ок.

Я думаю, одного то диска хватило бы, а уж 2-4 и подавно. Уж скорее узким местом станет ядро линукса на хосте, не сможет осилить десятку (10G).

Не будет там последствий если выставить noop итд. Но для дома это лениво каждый раз делать и цеф какбы для allways on Предназначен. Я не знаю вашего workload, но могу предположить что обычного NFS бокса будет заглаза. И меньше мороки будет.

Я знаю как минимум трех человек в этом чате, которые при словах "nvme" и "noop" скептически скажут "ню-ню"

Я тк думаю что none надо ставить.
noop, скорее всего, какую-то оптимизационную магию все равно пытается сделать. request merging?

noop это обычный с одной очередью планировщик

на NVMe это отстой

Нужен multiqueue