Ну хотя бы то, что нутаникс (какие и все другие sds) пишет данные (я сейчас не про метаданные) не на все оставшиеся ноды, а то число, которое указано в RF/FTT.
"Т.е если VM записала 100мб то у нас появляется 100мб на локальном хосте и по 10мб на соседних 10 хостах, если в кластере 11 хостов." Здесь есть ошибка ?
Мне нельзя читать документацию нутаникса, но вы, очевидно, забыли про атомарность операций, а так же механизм выбора узлов на которые пойдёт запись. У тому же Нут, не HyperFlex (где как раз похожий механизм с "размазыванием" записей)
О! Свидетель "data locality"! А вы не подскажите, вотчто упираются системы без локализации? Полосу пропускания? Задержку по сети? Запись? Чтение? P.s. Характерный случай - в любой не понятной ситуации говори про data locality вместо ответа по сути