Кто делал функцию выбора всех элементов recycler view, как вы определяли какой state поставить для объекта? У меня есть объект с полем isSelected, при клике в VH я ставлю ему isSelected = !isSelected. При этом у меня есть кнопка в view, selectAll, которая проходит по всем и ставит листу адаптера и ставит элементам isSelected = !isSelected. При таком подходе если что-то было выделено ранее, оно станет не выделенным. Если делать в activity isSelectedAllState: Boolean и от нее отталкиватся то может быть кейс когда пользователь сам выделил все, а после нажатия ничего не изменилось. Мне в голову приходит только решение проходиться по всему листу, складывать isSelected в лист а дальше считать, если большая часть выделена то всем ставить isSelected = true, иначе наоборот