Нейросеть научилась самостоятельно анимировать 3D болванку

МЕНЮ


Искусственный интеллект
Поиск
Регистрация на сайте
Помощь проекту

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


Недавно на конференции Computer Vision and Pattern Recognition в Калифорнии исследователи из института Макса Планка представили алгоритм захвата и синтеза речи в 3D-анимацию. Говоря проще, нейросеть научилась самостоятельно анимировать 3D болванку, полностью имитируя мимику лица при речи - в соответствии с теми словами, которые произносит "говорящая голова".

Со слов участников проекта, "понимание связи между звуками речи и мимикой лица позволяет получить ценную информацию для анализа людей, особенно если визуальные данные отрывочны и неоднозначны."

Прежде созданию эффективных разработок мешала только нехватка данных. Сейчас, собрав уникальный пакет 4D-сканов лиц, синхронизированных с речью двенадцати спикеров, исследователи приступили к обучению нейронной сети. Натренированный с помощью технологий NVIDIA алгоритм получил название VOCA (Voice Operated Character Animation). Он способен принимать любой входящий речевой сигнал и реалистично отражать его на широком спектре лиц.

Пакет данных и обученный алгоритм доступны на GitHub по запросу TimoBolkart/voca.

Комментарии: