Дополню еще. Посоветовавшись с
@Weaponer и проведя тесты, понял, что V-ray сохраняет в многослойную EXR велосити пасс, в котором за 0 движения принят 0 по RGB. А RSMB принимает за 0 движения 0.5 по всем каналам. При этом, если сохранять из вирея все отдельными пассами, то сохраняется как нужно для RSMB. Если же все-таки был сохранен многослойный EXR, то можно просто добавить на все каналы 0.5. Я сделал это через Fill со значениями 0.5 по всем каналам в режиме Add.
Но все равно, хоть и МБ после этого начинает работать нормально, остается проблема с наложением его на весь кадр целиком без альфы. То есть он работает только на изолированных объектах. Как решить эту проблему я не пока не нашел.