Короче я бы посоветовал таки добавить логи в работу с вьюхолдерами и проверить что они переиспользуются действительно, а не весь список сразу рендерится. Впрочем в любом случае действительно тащить сразу весь список с таким количеством многовато (особенно если данные тяжелые)
Соглы.
Лично я не могу связать лаги RV с тем что в его адаптер 35к итемов пульнули. Ну пульнули и пульнули, он должен отрисовать N вьюх что на экран влезли, и успокоиться.