в мануале меланокса наприсано про NetDirectPortMatchCondition а у вас, я так понимаю, что то вроде New-NetQosPolicy "SMB" -PolicyStore ActiveStore -SMB -PriorityValue8021Action 3 ?
Заработало после Set-MlnxDriverCoreSetting -RoceMode 1
я тестировал работу самого rdma с помощью nd_rping/nd_send_bw (поставляется с дровами) - и у меня не было такого, что если тесты проходят, но smb direct не работает. со свежими дровами даже пинг не работал