Тогда в массив (или как удобнее) складывай кликнутые кнопки , или их дата атрибуты и в обработчиках проверяй их наличие. Если кнопка там есть, значит была кликнута, значит второй раз хп не снимать. При инициализации след вопроса чисти его.
Либо в обработчике вешай датаатрибут clicked на кнопку и проверяй его при кликах. Опять же их состояние нужно обновлять на след вопросе. Возможно они у тебя там заного создаются