Необязательно ib. Есть eth-сетевухи с roce.

Блин, беседа разноцветных Александров

У меня пока не укладывается rdma в схему работы nutanix, почитаю.

Рдма не для того, чтобы читать/писать большие участки памяти процессов на других хостах. Он нужен, по сути для того, чтобы приложение могло эффективно обмениваться данными по сети: чиркануло байтики в страницу памяти, дернуло сисколл, и байтики по оффлоаду уехали на удаленный хост в страницу памяти буфера тамошнего процесса. Без прохождения программного tcpip стека ос, копирования данных в буферы и т.д.
Например, rdma используется в iscsi через расширение iser.

Один нут, второй типа эмблемщик хацкеров, воспринимай их на уровне аватарок

Проблема в том, что если происходит запись на локальном хосте, то тут же эта же запись делается одновременно на всех остальных хостах кластера, 10, 100, 500, 2000 хостов может быть в кластере.

Как-то наверно не очень надежно через rdma

Нет, конечно не целиком эта запись на все хостах, но одновременно на всех хостах 1/N хостов часть данных

Т.е если VM записала 100мб то у нас появляется 100мб на локальном хосте и по 10мб на соседних 10 хостах, если в кластере 11 хостов.

И вам не стыдно с подобной аватарой такую ерунду писать?

Нее, ниразу, честно сдал )

А что не так что запись раскладывается параллельно по всем?

Буферы RDMA обычно сильно меньше 100 МБ. И, еще раз, это транспорт, а не средство репликации больших участков памяти.

В иб и прочих есть костыли для гарантированной доставки

По умолчанию mtu кратно странице памяти

Так что можно снимать фольгу с головы

+

Прям вот даже лично тестами смотрел, не идет запись в VM больше 100МБ/с если свич 1Gbs, на остальных трех портах появляется 330Mbs трафика, при 4х нодах, какое ваше видение ошибки?

На каких трех портах?)

Кластер из 4х нод-хостов, на одном хосте VM пишет 100МБ/с трафик от этой ноды до свича 1Gbs, на три другие ноды 3 порта по 330Mbs