кстати, если что могу проблему на виртуалке повторить и передать

gw управляемый? Хоть там есть вланы?

Адреса .11 другого гипервизора? Они доступны?

gw - манина с линксом,  5 сетевых интерфесов
2 смотрят в эти сети, MTU 1500
другие машины в сети видит без проблем
первый vmk0 тоже видит
между рабочей сеттью  и этой правила полный NAT

на втором ESXi -таже проблема
достпен полько первый vmk (vmk0)
я его оставил как пример - что если что можно было на dvs перекинуть и сравнить

я сначало думал что это как-то с ролями связано... но походу нет

На манине с линксом настроен pbr?

что есть pbr?

Policy-Based Routing

И не очень понятно зачем использовать 2 неуправляемых коммутатора, котоорые не дублируют друг друга

нет
iptables и все
но я не только с него на хосты смотрю - так-то там еще 2 виндовые машины (dns  и iscsi )

это лаба - чтобы исключить управляемый свитч из списка проблем

если нужно -  можно и управляемый воткнуть

из "интересного"
проблема может решиться сама, если на vswitch добавить живые виртуалки, но тоже как-то 50/50
от чего зависит непонятно

В tcpdump на шлюзе видны пакеты когда esxi пингует "не пингуемое"? Арп таблица на хосте отображает маки iscsi/dns корректно?

на роутере, сервере DNS и сервере ISCSI таблица arp не содержит записей при пинге ESXi по второму ip или пингам через vmk1 как писал выше
вот вывод
arp -an

? (172.28.5.251) at 00:50:56:af:ee:1b [ether] on etn0
? (192.168.20.2) at 00:50:56:9f:01:cb [ether] on etn1
? (192.168.30.13) at <incomplete> on etn2
? (192.168.30.11) at <incomplete> on etn2
? (192.168.20.13) at 00:50:56:9f:d2:cd [ether] on etn1
? (172.28.0.1) at f4:ea:67:f7:b2:42 [ether] on etn0
? (192.168.20.101) at 00:50:56:9f:c0:c5 [ether] on etn1
? (192.168.20.11) at 00:50:56:9f:03:8a [ether] on etn1

? (192.168.30.13) at <incomplete> on etn2
? (192.168.30.11) at <incomplete> on etn2
? (192.168.20.13) at 00:50:56:9f:d2:cd [ether] on etn1
? (192.168.20.11) at 00:50:56:9f:03:8a [ether] on etn1

с винды (192.168.20.101 192.168.30.101):

нужно патчить дырку в nginx