Новая технология создания трехмерных моделей лиц

Команде исследователей удалось разработать новую технологию для построения трехмерных моделей лица на компьютере. Система направлена на улучшение пространства видеоигр, распознавание лиц в сфере безопасности и здравоохранения, а также добавления новых фильтров в Snapchat.

При обработке изображений лиц компьютеры иногда полагаются на т. н. "3D morphable model" (3DMM) — модель, представляющую собой "среднее" лицо и содержащую при этом информацию об общих отклонениях от него. Например, если у вас длинный нос, то у вас также может быть и длинный подбородок. Учитывая такие корреляции, компьютер может охарактеризовать какое-либо уникальное лицо не только фиксацией каждой точки в 3D-режиме, но и рассмотрением пары сотен примеров таких же нетипичных черт, которые примерно соответствуют вашему возрасту и полу.

И тем не менее существует одна особенность. Чтобы учесть все варианты лиц, 3DMM необходимо интегрировать информацию на большое количество лиц. До сих пор для этого нужно было сканировать много людей, а затем монотонно и кропотливо отмечать все особенности. В результате лучшие из современных моделей оказывались основанными только на нескольких сотнях человек и имели слабый разброс по возрасту и расам.

Новым решением в этой области стала разработка Джеймса Бута и его коллег — метод, автоматизирующий структуру 3DMM и позволяющий модели использовать больше вариантов лиц. Он основывается на трех главных частях. Первая — это автоматическая ориентация сканирования лица на кончик носа и другие точки. Вторая представляет собой выравнивание полученных сканов в соответствии с ориентировочными элементами и объединение их в одну модель (за это ответственен уже другой алгоритм). И последняя, третья часть заключается в выявлении и удалении плохих сканов.

Сейчас работа над проектом по-прежнему продолжается, Бут с коллегами применили свой метод почти к 10 000 различных сканов. Сканирование проводилось в научном музее Лондона пластическими хирургами Алланом Понниа и Дэвидом Данауэй, которые надеются на применение технологии в своей отрасли. Применение алгоритма к сканам вылилось в то, что они назвали "крупномасштабной моделью лица" (КМЛ). При сопоставлении с существующими моделями выяснилось, что она намного более точно отображает лица. Например, в одном из сравнений ученые создали модель лица ребенка с фотографии. С КМЛ она выглядела действительно похоже на реального ребенка. У Бута и его коллег было даже достаточно сканов для создания более специфичных моделей разных рас и возрастов.

Проект расширяется и экстенсивно: в новом докладе сообщается о том, что команда использовала уже 100 000 лиц для обучения программы ИИ превращению случайных двухмерных снимков в точные 3D-модели. Метод можно использовать, например, для того, чтобы увидеть, как будет выглядеть лицо запечатленного с камеры преступника в другом ракурсе. Или же как бы он выглядел, будь он на 20 лет старше. Можно также восстанавливать лица со старых портретов, воссоздавая внешний вид исторических личностей.

Вскоре КМЛ может найти применение и в медицине. При восстановлении носа человека, технология могла бы помочь пластическим хирургам определить, как должен выглядеть новый нос с учетом всех особенностей лица, и таким образом восстановить прежний вид человека. Помимо пластической хирургии, сканирование лица интегрируется и в генетику: определение таких генетических заболеваний как синдром Уильямса (состояние, связанное с проблемами сердца и задержкой в развитии),а также других болезней, коррелирующих с определенными чертами лица, порой просто необходимо.

Следующим шагом развития технологии является включение выражений лица в различные модели. Такая модернизация позволит распознавать лица при совершенно разных эмоциях, даже самых экспрессивных. Ученые сообщают, что они уже ищут новые лица в свою базу данных.

Источник: www.sciencemag.org

Комментарии: