при переустановке скорректировать или в файле V-Ray Material Library.reg ?
У меня с 1-го раза тоже не получилось с библиотекой, так как указал другой путь, со 2-го раза установил всё по-умолчанию (не меняя пути) и скопировал библиотеку по указанному по-умолчанию пути - всё нормально работает.
...кстати, при установке выбирал метод "advanced" - больше гибкости при установке