Вариантов не много:
1) Тебя добавляет твой контакт - внеси все контакты в черный список инвайтов
2) Тебя добавляют с твоего же аккаунта (параллельная или таже самая сессия) - тут сложнее, нужно сносить все сессии и авторизовываться по новой (в случае если у тебя какой нибудь ратник на компе который ворует сессию - не поможет
3) У тебя модифицированный клиент в котором автодобавление в группы прописано - ставь официальный клиент
4) Возможно TgVPN Разрешает еще в группы добавлять, но тут я хз, не пользуюсь ими