Тут ещё разница в том, что при пагинации изменение данных провоцирует рассчёт диффа, а он считается тем дольше, чем дальше пользователь отскроллил.
А если лениво извлекать данные по запросу и занулять старые элементы, когда отскроллил далеко, то количество элементов, которые нужно диффать, всегда будет ограничено.