Т.е. загрузило, память текстур 0.78ГБ (это ок), потом переход в следующую сцену (я сохраняю загружающий объект через DontDestroyOnLoad), и хуяк — 0.2ГБ.
Скорость загрузки уровней с этими текстурами, которые я подгружаю заранее, вообще не укорилась. Движок решает выгрузить то, что я загружал непосильным трудом.