может там offload какой-нибудь кривой на nic'ах работает

[root@esxi5:~] esxcli network nic get -n vmnic2
  Advertised Auto Negotiation: false
  Advertised Link Modes: 10000BaseTwinax/Full
  Auto Negotiation: false
  Cable Type: DA
  Current Message Level: -1
  Driver Info:
        Bus Info: 0000:82:00:0
        Driver: ixgben
        Firmware Version: 0x00000000
        Version: 1.4.1
  Link Detected: true
  Link Status: Up
  Name: vmnic2
  PHYAddress: 0
  Pause Autonegotiate: false
  Pause RX: true
  Pause TX: true
  Supported Ports: DA
  Supports Auto Negotiation: false
  Supports Pause: true
  Supports Wakeon: false
  Transceiver:
  Virtual Address: 00:50:56:5c:f6:bf
  Wakeon: None

6.7 сфера

[root@esxi5:~] esxcli network nic tso get
NIC     Value
------  -----
vmnic0  on
vmnic1  on
vmnic2  on
vmnic3  on

[root@esxi5:~] esxcli system settings advanced list -o /Net/UseHwTSO
  Path: /Net/UseHwTSO
  Type: integer
  Int Value: 1
  Default Int Value: 1
  Min Value: 0
  Max Value: 1
  String Value:
  Default String Value:
  Valid Characters:
  Description: When non-zero, use pNIC HW TSO offload if available

Version: 1.4.1 = ESXi 6.7 Update 2, может стоит вначале обновить хосты?

Пробовал и апгрейд и даунгрейд..
тестили с 6.5 / 6.7 / 7.0

одинаково

А чтение с СХД с какой скоростью идет. Блоками 256KB+ во много потоков?

net-ixgbe пробовал?

чтобы нативный драйвер исключить как минимум

пробовал

сталкивался с похожим поведением, когда у меня MTU 9000 не пролазило на определённой версии прошивки nic, временным решением было установить тот MTU, который точно пролазил ~8900 и полностью проблему решил после обновления прошивки nic - давно это было

уже до 2000 опустил... ниже nsx ругаться начнёт

[root@esxi5:~] esxcli network nic list
Name    PCI Device    Driver  Admin Status  Link Status  Speed  Duplex  MAC Address         MTU  Description
------  ------------  ------  ------------  -----------  -----  ------  -----------------  ----  ----------------------------------------------------------------
vmnic0  0000:02:00.0  igbn    Up            Down             0  Half    18:03:73:ff:78:55  1500  Intel Corporation I350 Gigabit Network Connection
vmnic1  0000:02:00.3  igbn    Up            Down             0  Half    18:03:73:ff:78:56  1500  Intel Corporation I350 Gigabit Network Connection
vmnic2  0000:82:00.0  ixgben  Up            Up           10000  Full    00:8c:fa:09:c4:d8  2000  Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection
vmnic3  0000:82:00.1  ixgben  Up            Up           10000  Full    00:8c:fa:09:c4:d9  2000  Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection

надо дамп трафика смотреть, смысл гаданием заниматься

вам нужно на СХД сделать такой же, чтобы избежать фрагментации

естественно проверяю на всём пути.. что б меньше настраивать свитчи - воткнули даже сторедж прямо к хосту директ линком

нарисуете схему с версиями ПО и моделями железа?

+ адресация с маской сети, MTU, что используется в качестве физики

В смысле? 1500 уже не кошерно? Вы можете вообще слой NSX-а исключить?