Благодаря приложению Prisma все знают, что нейросети могут переносить стиль картин на фотографии. Но ведь нейросети могут и сами генерировать картины. Команда американских исследователей разработала интересную схему, позволяющую создавать картины в новых стилях. Вот как она работает.
Одна нейросеть - тупой генератор, который ничего не знает об искусстве. Он начинает генерировать картины случайным образом, то есть буквально рисовать всякую фигню. Вторая нейросеть (дискриминатор) - умная. Ей показали 82 тысячи картин в разных стилях. Дискриминатор умеет не только отличать искусство от беспорядочной мазни, но и определять стиль картины. Реализм, импрессионизм, кубизм, экспрессионизм - всего 25 стилей.
Первая нейросеть постоянно пытается обмануть вторую. Она создаёт свою случайную мазню, отправляет её в дискриминатор и получает ответ - "искусство" это или нет. Если нет, нейросеть перенастраивается, чтобы в следующей итерации все-таки обмануть дискриминатор.
Кроме того, если дискриминатор видит в сгенерированной картинке "искусство", он пытается узнать стиль картины. И если этот стиль сильно похож на те, которые дискриминатор уже знает, он возвращает генератору сигнал - мол, такое мы уже видели, давай что-то новое. То есть генератор должен не просто создать картину, которую дискриминатор посчитает искусством, но и создать её в таком стиле, которого дискриминатор раньше не видел. В этом вся задумка исследования - нейросеть должна не просто воспроизводить известные художественные стили, но и создавать новые.
Ну и главное: когда полученные картины показали людям и попросили оценить наряду с обычным современным искусством, многие машинные картины получили даже высшую оценку, чем "настоящие", человеческие. Здесь авторы исследования немного недоработали: было бы классно, если бы они продали одну из таких картин на ярмарке современного искусства, и только потом раскрыли секрет её авторства. Но и так неплохо получилось.
Машинные картины, которые получили наивысшие оценки:
http://i.imgur.com/GQNOvMC.jpgПубликация (почитайте, там и текст интересный, и картинки):
https://arxiv.org/pdf/1706.07068.pdfЧто ещё почитать по теме:
Как работают генеративные нейросети:
https://www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/Как работает перенос стиля в приложениях вроде Prisma:
https://t.me/brodetsky/642