я тогда еще был молод и нравился девочкам

Не тестил. Но drbd мне не подходит. Есть где-то инсталляции  до 300+ дисков у drbd? Я может не знаю чего...

ну у Квапса целый хостинг... хотя я не знаю его архитектуру

@kvaps Андрей, а расскажи сколько у тебя дисков, серваков и сколько рессурс групп на эти диски плиз

Я устранил свою дремучесть. Linbit отказывается это и есть создатель у суппортер drbd. Лично у меня к drbd претензий нет. Но у меня нет инфы о инсталляции на много серверов и много дисков.
Так же не понятно с оркестрацией. У CEPH все просто. Реплики. И CEPH тебе гарантирует, что он сам все отследит и исправит. А в drbd для меня некий ступор. Мой опыт был из двух дисков master - slave и потом я только слышал что дисков может быть и больше и реплик больше. Но ничего этого не тестил, было не до того. Слышал про цифру 64, но без конкретики.

Так что про удачные кейсы linbit я бы почитал с интересом.

Бкэш на ssd с бэком на рбд

То есть, кэш на хосте с виртуалкой

Там на каждый волюм создаётся отдельный drbd

Поэтому в лимит drbd 64 ты не упрёшься

И там drbd не тот что в ядре, а поновее - drbd9, в нём есть такая важная вещь как quick sync bitmap, который по сути в какой-то мере аналог транзакционности

Ненене. Это ускорятор синхронизации. Битовая карта измененных блоков. Для транзакций там журнал свой.

Ну идея в том что в него запись пишется и коммитится ДО того как применяется собственно изменение

Поэтому он тоже работает как "журнал"

quick sync bitmap - это не про транзакции а про учет крупных блоков на предмет были изменения или нет, тотже принцип в софтварном рейде (mdadm) чтобы не ресилверить весь диск - оно будет ресилверить только те блоки которые помечены как изменившиеся.

Ну это решает ту же проблему. Проблема - отвалилась реплика, надо вернуть. Что делает цеф? Цеф ведёт pglog-и и сверяет их. По сути это же тоже вид учёта изменений. А дрбд9 ведёт это поблочно. Если этого нет - то только делать полный синк. Но синк долго. А если на него забить - то реплики разъедутся :)

Так что это типа всё примерно в одну и ту же тему

А как же витастор? =)

А он сверяет списки и версии объектов :)

Т.е. в принципе ещё один вариант решения той же проблемы

Я так понимаю все так делают с той или иной степенью успешности в плане писания эффективных алгоритмов и глючности кода.