Можно указать в /etc/ssh/sshd_config пользователей, которые могут подключаться. При этом отменяются их uid, только их имена. команда - AllowUsers User1 User2 User3 и тд и тп.
Этот путь проверен на ноуте (OpenSUSE), комп (OpenSUSE), Honor 5C (And10 Google Pixel перешитый), Xiaomi 4A (And10 Google Pixel перешитый), ПК в другом регионе (Win 10)... Все робять с одного акка по SSH