т.е. если бы уперся в ссд, то скорее всего огромный iodepth показал бы меньше iops в итоге.

3par - 16 drives iSCSI (SSD_r6)

-iodepth=1
  write: IOPS=2448, BW=9796KiB/s
    clat (usec): avg=366.08
-iodepth=32
  write: IOPS=53.3k, BW=208MiB/s
    clat (usec): avg=593.22
-iodepth=512
  write: IOPS=74.0k, BW=293MiB/s
    clat (msec): avg= 6.82
-iodepth=1024
  write: IOPS=81.0k, BW=317MiB/s
    clat (msec): avg=12.62
# ------------------------------
-iodepth=1
  read: IOPS=1932, BW=7731KiB/s
    clat (usec): avg=466.63
-iodepth=32
  read: IOPS=39.0k, BW=156MiB/s
    clat (usec): avg=789.10
-iodepth=512
  read: IOPS=127k, BW=496MiB/s
    clat (usec): avg=4027.47
-iodepth=1024
  read: IOPS=122k, BW=478MiB/s
    clat (msec): avg= 8.35

drbd9 - 2 replicas (diskless)

-iodepth=1
  write: IOPS=3068, BW=11.0MiB/s
    clat (usec): avg=304.12
-iodepth=32
  write: IOPS=42.8k, BW=167MiB/s
    clat (usec): avg=743.61
-iodepth=512
  write: IOPS=63.2k, BW=247MiB/s
    clat (usec): avg=8090.49
-iodepth=1024
  write: IOPS=65.1k, BW=254MiB/s
    clat (usec): avg=15722.37
# ------------------------------
-iodepth=1
  read: IOPS=2862, BW=11.2MiB/s
    clat (usec): avg=317.75
-iodepth=32
  read: IOPS=120k, BW=469MiB/s
    clat (usec): avg=262.24
-iodepth=512
  read: IOPS=122k, BW=476MiB/s
    clat (usec): avg=258.51
-iodepth=1024
  read: IOPS=141k, BW=550MiB/s
    clat (usec): avg=7263.16

drbd9 - 2 replicas (local)

-iodepth=1
  write: IOPS=3907, BW=15.3MiB/s
    clat (usec): avg=247.98
-iodepth=32
  write: IOPS=43.8k, BW=171MiB/s
    clat (usec): avg=726.06
-iodepth=512
  write: IOPS=63.6k, BW=248MiB/s
    clat (usec): avg=8046.25
-iodepth=1024
  write: IOPS=65.6k, BW=256MiB/s
    clat (usec): avg=15597.82
# ------------------------------
-iodepth=1
   read: IOPS=9778, BW=38.2MiB/s
    clat (nsec): avg=85923.27
-iodepth=32
   read: IOPS=107k, BW=418MiB/s
    clat (usec): avg=290.36
-iodepth=512
   read: IOPS=106k, BW=414MiB/s
    clat (usec): avg=4827.09
-iodepth=1024
   read: IOPS=103k, BW=403MiB/s
    clat (usec): avg=9905.72

local lvm (SAMSUNG MZ1LB960HAJQ-00007):

-iodepth=1
  write: IOPS=32.1k, BW=126MiB/s
    clat (nsec): avg=22502.97
-iodepth=32
  write: IOPS=118k, BW=461MiB/s
    clat (usec): avg=263.21
-iodepth=512
  write: IOPS=115k, BW=449MiB/s
    clat (usec): avg=4446.25
-iodepth=1024
  write: IOPS=116k, BW=452MiB/s
    clat (usec): avg=8831.70
# ------------------------------
-iodepth=1
   read: IOPS=9777, BW=38.2MiB/s
    clat (nsec): avg=86108.70
-iodepth=32
   read: IOPS=120k, BW=469MiB/s
    clat (usec): avg=259.09
-iodepth=512
   read: IOPS=118k, BW=462MiB/s
    clat (usec): avg=4325.61
-iodepth=1024
   read: IOPS=118k, BW=462MiB/s
    clat (usec): avg=8654.69

есть шанс, что уменьшение iodepth и увеличение воркеров может добавить иопсов.

если я правильно угадал, то бутылочным горлышком является сеть к схд или интерфейс к ссд. косвенным признаком bus saturation является рост latency при тех же иопсах.

одним воркером тестишь?

есть шанс, что уменьшение iodepth и увеличение воркеров может добавить иопсов.

Да

Мне вот интересно сколько воркеров 3par потянет, проверять я конечно не буду, это прод уже

Спасибо, интересное наблюдение, но в данном тесте nvme локальный был

Спасибо, интересное наблюдение, но в данном тесте nvme локальный был

плохо )))

и еще fio выдает некоторую статистику по задержкам. её тоже интересно глянуть.

для NVMe так вообще низкие показатели

Спасибо, интересное наблюдение, но в данном тесте nvme локальный был