Наткнулся на
интересную нейронку, которая рендерит 3D-сцену на основе входных изображений, причем по этой сцене можно прогуляться, то-есть использовать свободную точку обзора. Вкратце – мы скармливаем нейронке изображения, а система визуализации на основе выбранных точек оптимизирует ракурс и выстраивает глубину, причём с небольшим количеством артефактов и дорисовывает невидимые детали.
Система работает со сложными объектами и синтезирует различные ракурсы даже с растительностью или тонкими структурами, типа перил на лестнице. Гляньте на видео, дерево будто отсканировали.
P.S. Еще система умеет в style-transfer, на уже готовую 3D-сцену можно наложить какой-нибудь стиль, в примере разработчиков на сцену музея с колоннами применили стиль картины одного из французских художников и вполне себе какая-нибудь музейная обучалка для школьников готова.
Давно мечтал сделать какую-то 3D карту локации из фильма, попробую, как дадут поиграться 🌚