Супер. Я снова открываю калькулятор. При учете, что ВМ равномерно разнесены по хостам. 500K 4K - это 3.8Gb/s с каждого хоста если ВСЕ записи идут по сети

Вопрос в чтении, в 4.5 гигабайта в секунду, с каждого хоста.

Вопрос в чтении случайных малых блоков. Мы же не схд под видеонаблюдение рассматриваем?

тот же тест, те же 4 хоста но hyperFlex за 150k$

и скорее всего на Голдах а не на E5-2680v2 :)

Слушайте, я же не говорю, что HyperFlex хорош. И с чего вы взяли, что тут работает locality? И тем более x-ray с дефолтными настройками - это фу-фу-фу (например, не напомните сколько там длительность одного теста в 4-corner?) Я пытаюсь вам только показать, что подход с data locality устарел ещё со времен появления 10, не говоря уже по 25/50. И да, я сейчас про высоконагруженные системы под ВМ, коей и является нутаникс в первую очередь.

Да нет же, локалити имеет выше уровень чем просто чтение из локальных дисков, а не по сети, сеть огромные задержки, в конечном итоге горячие данные кешируются в памяти. За счет этого скорость растет в десятки раз.

вот 20 минутный рантайм на каждый из 4х тестов

Блин. Пожалуйста, не надо мне рекламные брошурки пихать - в них бред написан (верный, но абсолютно бесполезный в данном случае). И давайте уйдем от "огромные", "тормозит", "криво", "архитектура - говно" и всего прочего к конкретным числам. На тех примерах, которые вы привели очевидно, что throughput сетевых адаптеров не является bottleneck на маленьких блоках.  На запись не влияет - вы с этим сами согласились. Я показал, что latency по сети пренебрежимо мало по сравнению с latency в госте (к сожалению, в скриншотах x-ray не увидел latency). Остаётся что? Seq read большим блоком? А в реальной жизни это что? Можно пример? Я вот знаю только бекап, но к сожалению для нута, data locality в этом случае  никак не поможет и  у него всё тоже  Упрется в сеть

а причем тут запись? мы же вроде как про чтение тут общаемся, где data locality работает?

запись выше была, верхняя часть этого скрина, это к вопросу длительности теста

Чота у вас тут серьезное происходит, попозже прочитаю вашу дискуссию. Я к слову с того момента как продал тебе тот IB, свою хранилку написал))) @vitastor

"что latency по сети пренебрежимо мало по сравнению с latency в госте" это прям что-то совсем космическое, "latency по сети" это хотя бы rdma или вообще обычный TCP транспорт ?

выше было обсуждение: порт-ту-порт - от сотен нано до единиц микро секунд. End-to-end на хосте ~десятки микросекунд. целевое latency СХД - сотни микросекунд- единицы мс.  И это без всякого RDMA

ну в тепличных условиях на Лёхином стенде было ВРОДЕ бы 10 us. но мне кажется это в одну сторону, а не пинг-понг. по факту с учётом приложения будет больше - но мне нужен нормальный стенд чтобы это проверить т.к. щас есть только 2 десктопа дома :)

Могу дать стервачки с 10г. Нада ?

Но дисков безнихуя

Да не, правильно в принципе. Просто прозвучало стрёмно 😊 ну и RDMA тут никак не влияет. RDMA это просто такой вид сети. На самом деле там никакой синхронизации памяти конечно же нет