ICE D4
Если не затруднит,можно немного деталей где смотреть?Это нужно разрешить только своему IP?
1. Панель управления\Все элементы панели управления\Брандмауэр Windows
2. Переходите в пункт "Дополнительные параметры"
3. Правила входящих подключений.
4. Создаете правило.
По логике, нужно создать входящее правило для сети и/или программы OpenVPN и поставить "Блокировать все входящие подключения".
Дальше не могу подсказать, так как ни разу не настраивал встроенный брендмауэр в Windows. Пользуюсь сторонним брендмауэром на ПК