1) Страдает read latency, т.к. половина данных жила локально
2) Страдает write latency, т.к. обе копии удалённые, и completion latency из-за network jitter+ssd lat distribution будет выше чисто статистически.

Это не теория, у меня даже тесты есть в рукаве :)

а с чего вы взяли, что чтение и запись делались локально до vmotion? Алгоритмы распределения данных по узлам абсолютно не связаны с алгоритмами выбора узла размещения ВМ. При этом мы возвращаемся к теме data locality, где я не слышал, как это хоть сколько нибуть значимо отражается на результатах. С другой стороны, вслед за миграцией ВМ между узлами переезжает DOM Owner в течении 15-60 секунд + RAM Read Cache тоже сбрасывается и запускается на новом узле

ну да - если ничего не изменилось, то «AHV, согласно, вот этой вроде бы актуальной доке (https://portal.nutanix.com/... просто смотрит каждые 15 минут на CPU Utilization ноды и если загрузка превышает 85% думает куда бы ему смигрировать ВМ:
«ADS tracks each individual node’s CPU and memory utilization. When a node’s CPU allocation breaches its threshold (currently 85 percent of CVM CPU), Nutanix migrates VMs or Nutanix Volumes off that host as needed to rebalance the workload.». При этом из метрик - загрузка CPU, просто объем RAM ВМ (потому что AHV не умеет в переподписку по RAM) и загрузку CPU storage controller на узлах (https://next.nutanix.com/ho.... Поэтому если у вас CPU загружен менее, чем на 85%, то совершенно не важно как там cебя чувствуют ВМ и что там с ресурсами в кластере - никакой миграции не будет.» из комментов тут - https://www.vmgu.ru/news/vmware-drs-vsphere-7-performance

Мне казалось, что initial placement и rebalance алгоритмы именно что кладут 1 копию на хост с ВМ (если есть такая возможность). Или это не так?

ну мне такое, как минимум, неизвестно. Плюс я не вижу в этом никакого смысла с учетом того, что описано тут https://core.vmware.com/resource/understanding-data-locality-vmware-vsan

Почитаю.

Вот реальные данные, с реальным +50% скорости VM за счет даталокалити, если задержки по сети ниже чем чтение локального nvme почему такие данные ? http://www.joshodgers.com/2020/08/10/hci-architecture-matters-nutanix-aos-vs-the-competition-their-cache-drives-disk-groups/

или в 2 раза быстрее ?

как и в любой другой статье эээ.. господина Оджерса - я понятия не имею, что, как и на чем он запускал. Все тесты, которые я запускаю имеют полное детальное описание на чем, как и в каких условиях были запущены тесты. Любой желающий может взять и повторить.

и опять таки - я понятия не имею с чего он взял, что результат связан с data locality. у меня просто нет всех нормальных данных - он просто бросает на вентилятор, как обычно

поэтому я еще раз прошу повторить тест, где 20 us в госте + полный  конфиг железа/софта + fio

кстати, какая-то vm в бакап пошла, и я спать пойду, всем спасибо.

на днях выйдет бесплатный CE на SPDK, сделаю

Ну тут что считать недоутилизацией. Держим 70-80 процентов. Ничего особо не ездит. Но называть недоутилизацией это не могу

Сап хана, не будь она к ночи помянута

70-80% - выглядит, как нормальная утилизация в отличии от скриншотов выше, где 30%  по CPU и 50% по RAM. Почему при этом не ездят ВМ - я не в курсе (может у вас безумно ровная нагрузка на всех ВМ). Я просто превел статистику с VMware, где DRS учитывает попадания в CPU Cache, утилизилазацию сети, RAM, CPU Ready и т.д. Когда у нас в инфре была утилизация по CPU под 90%, а RAM работал с balloon+TPS, то было порядка 30 миграций в день для каждой ВМ

Ребят, то что вы нафлудили тут за пару дней - бесценно! 👍
Это прямо в вики нужно оформить!

Вы меня конечно извините, но например голды второго поколения при 50% утилизации уже начинают частоты дропать на некоторых ядрах. 80% утилизации cpu на гипервизоре на них - это жопа. АМД, кстати в таких ситуация получше, но все равно имеет место.