Американские учёные научили нейросеть создавать 3D-модель лица по фотографии

Программисты из Университета Корнелла научили нейросеть по одной фотографии создавать точную 3D-модель лица человека, пишет Gizmodo. Программа уже создала 3D-изображения Мохаммеда Али, Иэна Кертиса и Дональда Трампа.

Для обучения нейросети авторы использовали снимки из Chicago Face Database, содержащей сотни фотографий людей разных рас и возрастов.

Сначала программа распознаёт по фотографии форму лица и создаёт для него карту альбедо, определяющую диффузный цвет, который виден при освещении предмета белым светом. После этого сверточная нейросеть VGG-19 анализирует изображение, распознает отдельные части лица и подбирает к ним реалистичные текстуры.

Процесс создания 3D-маски по фотографии Дональда Трампа. Shunsuke Saito et al / ArXiv.org

Недостающие детали изображения система реконструирует самостоятельно, сравнивая модель с другими изображениями из базы.

Нейросеть подбирает текстуры. Shunsuke Saito et al / ArXiv.org

3D-модель лица Иэна Кертиса. Shunsuke Saito et al / ArXiv.org

Система также может убирать лишние шумы, если исходное изображение плохого качества.

Процесс создания трёхмерной модели лица Ким Чен Ына. Shunsuke Saito et al / ArXiv.org

Разработчики считают, что эта программа пригодится для создания собственных трёхмерных аватаров и для реконструкции внешности исторических персонажей.

3D-модель лица Мохаммеда Али. Prosthetic Knowledge

Полный текст исследования доступен на Arxive.org.