Интересный алгоритм показал Facebook Research для сжатия видео и картинок – делюсь просто чтобы показать вектор куда могут двигаться алгоритмы сжатия вместе с машинным обучением.
Сжатие видео, да еще и так, чтобы качество не сильно пострадало – это очень сложная техническая задача в которой я почти ничего не понимаю, так что будем называть ее просто задачей со звездочкой.
Алгоритм DeepFovea делает примерно так:
– Нейронка анализирует видео на пример того, куда будет смотреть человек глазами на видео (sic!), то есть да, буквально, нейронка пытается угадать где будет человеческий фокус в видео в данный момент;
– Дальше алгоритм разбивает видео на наборы пикселей (в видео пример);
– Алгоритм синтезирует видео в котором места отведенные под «переферийное зрение» понижены в качестве.
– Как итог, судя по документу, размер видео можно сжать в 14 раз.
Дорогие инженеры, прекратите залезать нам в голову, с каждым годом все страшнее!
Страница проекта, код скоро будет:
https://research.fb.com/publications/deepfovea-neural-reconstruction-for-foveated-rendering-and-video-compression-using-learned-statistics-of-natural-videos/