Нейросеть научилась самостоятельно анимировать 3D болванку

Недавно на конференции Computer Vision and Pattern Recognition в Калифорнии исследователи из института Макса Планка представили алгоритм захвата и синтеза речи в 3D-анимацию. Говоря проще, нейросеть научилась самостоятельно анимировать 3D болванку, полностью имитируя мимику лица при речи - в соответствии с теми словами, которые произносит "говорящая голова".

Со слов участников проекта, "понимание связи между звуками речи и мимикой лица позволяет получить ценную информацию для анализа людей, особенно если визуальные данные отрывочны и неоднозначны."

Прежде созданию эффективных разработок мешала только нехватка данных. Сейчас, собрав уникальный пакет 4D-сканов лиц, синхронизированных с речью двенадцати спикеров, исследователи приступили к обучению нейронной сети. Натренированный с помощью технологий NVIDIA алгоритм получил название VOCA (Voice Operated Character Animation). Он способен принимать любой входящий речевой сигнал и реалистично отражать его на широком спектре лиц.

Пакет данных и обученный алгоритм доступны на GitHub по запросу TimoBolkart/voca.

Комментарии: