
Очень клёвая работа от моего кента Димы и коллег из Хайдельбергского университета.
За последние годы было много успешных внедрений нейронного переноса стиля. В большинстве этих работ процесс стилизации ограничен оптимизацией пикселей. Однако, это представление слишком низкоуровневое. Более естественно смотреть на картину, как набор мазков кисти в определенной констелляции. Так вот в этой статье изображения стилизуются путем оптимизации параметризованных мазков кисти вместо пикселей. Чтобы через это дело можно было пускать градиент, авторы придумали простой дифференцируемый рендеринг мазков, каждый из которых параметризован кривой Безье.
Результаты отменные. Можно также добавлять ограничения на форму мазков, нарисовав пару загогулин поверх фото. Единственный минус — работает довольно долго (10-20 минут на 1MP картинку), так как это итеративная оптимизация, и на каждой итерации нужен прогон через VGG.
Подробности тут.
Есть код.