ID можно взять через message.from_user.id, как я уже написал выше
Дальше хранишь его где-то, после чего пишешь кастомный фильтр, который проверяет, нужно ли отправлять сообщение. На крайняк, просто проверку в хендлере, если фильтр - это что-то слишком