Photorealistic Facial Texture Inference Using Deep Neural Networks (ArXiv 2016)

Нейросеть научилась создавать трехмерные модели лиц по одной фотографии

Группа исследователей из Университета Южной Калифорнии создала программу, способную создавать реалистичные трехмерные изображения лица по одной фотографии. Статья, посвященная разработке, выложена на сайте ArXiv.org.

Как пишет N+1, обычно для создания "виртуальных масок" используются качественные фотографии, сделанные в нескольких ракурсах при идеальном освещении. Это необходимо для того, чтобы передать все особенности лица человека, включая его асимметрию, изгибы и мелкие детали, включая родинки. Метод, разработанный учеными из США, позволяет использовать для этих целей всего один непрофессиональный снимок, сделанный в повседневной обстановке.

В ходе работы исследователи создали модель, способную "считывать" форму лица по фотографии. Затем они использовали предварительно подготовленную сверточную нейросеть VGG-19, которая анализировала заготовки лиц и подбирала к ним реалистичные текстуры. Для выполнения этой задачи нейросеть использовала базу данных лиц, содержащую фотографии мужчин и женщин разного возраста и разной национальности.

Для оценки реалистичности 11 созданных моделей ученые пригласили 150 добровольцев. Им демонстрировались фотографии лиц, на которых левая половина всегда была настоящей (изображение из базы данных), а правая могла быть как реальной, так и сгенерированной нейросетью. Согласно результатам проверки выяснилось, что цифровая модель очень похожа на реальное изображение лица.

По мнению разработчиков, созданная ими технология в перспективе может быть использована для создания VR-аватаров или для усовершенствования онлайн-игр.

Источник: vk.com

Комментарии: