Кароче, ,бесплатно:
1. Делаешь чанки по размеру вьюпорта при загрузке, и делаешь типа мапки, так как у тебя монолит.
2. Делаешь кулл чанков по вьюпорту явно - те те, которые вообще не видимы - удаляешь из контейнера, а которые решили показаться - добавляешь.
3. Делаешь рендер чанков в текстуру, если позволяет, или при мутации камеры.
4. Делаешь камеру, которая трансформирует вьюпорт, а не таскает контейнер.