Помните такую вещь, как Style-transfer в машинном обучение? Ну это когда у вас есть 2 картинки (1 в качестве содержимого, а вторая в качестве референса стиля). Самый близкий пример — те приложения, где можно стилизовать фото под знаменитых художников: ван Гога, Клода Моне и прочих.
Так вот, еще с 2016 года были попытки перенести это в трехмерное пространство, чтобы текстурировать не обычные картинки, а комплексные 3D-объекты и сцены. Но все уперлось в производительность: существующие методы были непригодны для реального времени и требовали в среднем по минуте на обработку простых объектов.
Но
недавно ребята из Чешского технического университета в Праге и Adobe Research представили
документ нового алгоритма StyleBlit, который работает примерно в 100 раз быстрее существующих алгоритмов (StyLit, FaceStyle).
Помимо скорости работы алгоритм решает проблему низкой temporal coherence (то есть движущиеся-анимированные части не будут иметь сильных артефактов).
Конечно, алгоритм имеет некоторые ограничения. На данный момент, чтобы работать с текстурами с четким паттерном (tiled текстуры) необходимо вносить изменения в алгоритм, увеличивающие его сложность.
Почему это круто? Во-первых, у 3D-артистов появится отличный инструмент для тестирования и отладки разных стилей в реальном времени. Можно рисовать на бумаге или в графическом редакторе и отправлять холст алгоритму в качестве референса стиля. Сейчас могу представить плагины для 3D-пакетов и игровых движков, которые будут это делать. Во-вторых, это просто круто.