Потому что для ПК роутер В в твоей сети знает о твоем ПК и о сети модема и при обращении с ПК, роутер В отправляет запрос сразу на модем, потому что он находит этот адрес у себя в таблице маршрута
А если ты обращаешься к модему с роутера А, который подключен через впн к роутеру В, то роутер А знает только адрес своей сети, которую он раздает и о сети впн. Про остальные сети он незнает. Ему нужно это указать вручную.
в итоге нужно маршрут прописать на роутере А в строну роутера В и на роутере В прописать маршрут в сторону роутера А, верно? Если да, нужно указать их впн адреса (10.8.х.х) или локальные (192.х.х.)? (подозреваю что впн адреса)
Например: Роутер А: Сеть 192.168.1.0/24 искать на роутере 10.8.0.2 (gateway) (впн адрес). Роутер В: Сеть 192.168.0.0/24 (своя сеть) искать на роутере 10.8.0.1 (gateway) (впн адрес).