А не проще ли вайтлист настроить на какой то непонятный порт?
У меня нестандартные порты используются. А люди, которые подключаются, заходят с разных мест и нет возможности постоянно редактировать белые списки. Если пользователь шарит, как узнать свой адрес, то он мне сообщает и я его добавляю в белый список на 24 часа вручную, чтобы fail2ban его не банил, даже если они использовали разрешенные попытки подключиться