Я что то не понимаю этот график, где тут глубина очереди?
Тест проводился 12ВМ, 10vmdk, 4K, 100% Random, 100% Read и 100% Write. тредов несколько (лень искать сколько), пробитие кэша есть, тест шел через указание IOPS Limit в FIO. Каждая точка - результат прогона с 30 минутным прогревом и час теста с заданным IOPS. В таблице фиксировалась полученная latency. Зеленые - зеркало. Синий - Erasure Coding + SE. 4 хоста на AMD + 10GbE сеть.