Нейронную сеть обучили создавать «говорящие головы»

Обучив сверточные нейронные сети, российские разработчики из Samsung и Сколковского института науки и технологий анимировали фотографии, портреты и картины. Описание алгоритма доступно на препринт-сервере arXiv.org.

Известно, что синтезировать реалистичные аватары трудно по двум причинам. Во-первых, человеческая голова обладает высокой фотометрической, геометрической и кинематической сложностью: трудности возникают в процессе моделирования не только лица, но и полости рта, волос и одежды. Вторым усложняющим фактором является острота зрительной системы человека, которая проявляется в эффекте «зловещей долины». Согласно гипотезе, если робот допускает ошибки в попытке подражать человеку, то вызывает неконтролируемое отвращение у людей-наблюдателей.

Для создания персонализированной модели говорящей головы искусственный интеллект требует обучения на большом наборе изображений героя. Тем не менее, во многих приложениях такие модели должны быть получены из нескольких изображений человека, возможно, даже из одного. Разработчики создали систему, которая длительно обучается на большом наборе видеоданных и генерирует маску говорящего лица. Маска обозначает границы лица и базовую мимику. Связь полученной маски с исходным видеорядом сохраняется в виде вектора, благодаря чему маска может быть перенесена на отдельные изображения лиц.

В процессе метаобучения нейросеть автоматизирует процесс выбора и настройки компонентов. Три модели были обучены на большой базе видеоинтервью со знаменитостями, найденных на просторах YouTube. Сеть-эмбеддер преобразовывала маски, сцепленные с особенностями лица, в векторы. Эти векторы были использованы, чтобы инициализировать параметры сети-генератора. А сеть-генератор, в свою очередь, формировала видео, которое сеть-дискриминатор сопоставляла с исходным и оценивала реалистичность полученного результата.

Работу системы проверили, применяя в качестве ведущего видеоряда видеозапись с фронтальной камеры, а в роли изображения, на который осуществлялся перенос — селфи. 32 изображений достаточно для получения высокого качества «говорящей головы».

Наконец, ученые «оживили» изображения Мэрилин Монро, Сальвадора Дали, Федора Достоевского, Альберта Эйнштейна и картину «Неизвестная» кисти Крамского.