префетчи склонны жрать память, согласен с оратором выше - стоит их юзать по месту использования - это первый момент
второй момент - по контексту вопроса могу предположить, что речь о каком-то queryset с связанными таблицами - если так, то в принципе для таких вещей нужно писать логику в Queryset объекте, не в model manager
model manager, IMO, должен хранить логику и методы на уровне инстанса модели, всякие хитровыдуманные методы создания/удаления инстанса, или списка инстансов обслуживаемой модели(какой-нибудь свой bulk_create с казино и куртизанками)