я уже 3 раза упоминаю, что я меняю тему через пересоздание вьюх, причём тут вообще адаптер
Это я так пытаюсь докопаться до источника проблемы. У тебя там, похоже, не просто замена адаптера, а ещё куча интересных вещей при этом происходит.
Убирай лишний код чтобы изолировать проблему и понять причину.
Телепат из меня так себе.