RP
Если Вы используете обычный PPTP, то в настройках клиента снимаете галочку "использовать шлюз удаленной сети по умолчанию" и вручную прописываете отдельно маршрут через впн к локальной сети за роутером.
Если Вы используете OpenVPN/SSTP/IPSec то маршруты можно отправить прямо с сервера, которые будут идти через впн. Все остальное, что не прописано в маршрутах, будет идти напрямую через провайдера, не заходя даже на впн