Браслет с камерами на одной руке построил 3D-модель всего тела |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2022-11-17 14:05 Инженеры создали браслет, способный создавать 3D-модель всего тела. В нем используются камеры, направленные в сторону тела, и нейросеть, которая создает по снимкам модель тела. Статья о разработке опубликована в Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies. Системы захвата движений позволяют создавать цифровую модель тела человека, которую удобно использовать, например, для создания виртуальных аватаров в играх или кино. Эти системы можно разделить на два основных типа. Первые используют внешние датчики, а в некоторых случаях еще и визуальные маркеры на человеке. Вторые же не требуют внешних устройств и крепятся на теле или одежде. Второй подход гораздо удобнее и универсальнее, но в то же время он технически сложнее. Часть разработчиков реализует второй подход с помощью устройств, создающих модель тела по косвенным данным. Так, мы рассказывали о том, как это удалось сделать по двум браслетам с акселерометрами и ботинкам с датчиками давления. Инженеры под руководством Чэн Чжан (Cheng Zhang) решили использовать для создания модели тела визуальные данные, но размещать камеры не отдельно от человека, а прямо у него на запястье. Авторы предполагают, что такое устройство можно было бы реализовать в виде умных часов. Прототип же представляет собой браслет с несколькими камерами (от одной до четырех) и блоком с микроконтроллерами и аккумуляторами, который нужно держать в руке. Алгоритм работает следующим образом. Сначала на каждом кадре размечается область, на которой есть человек. Затем он подается на сверточную нейросеть, причем, если используется несколько камер, то кажды с каждой обрабатываются параллельно отдельными «ветвями». На последнем этапе данные с каждой «ветви» объединяются и алгоритм выдает модель из 13 ключевых точек тела. Данные для обучения разработчики собрали с помощью отдельной камеры глубины, которая снимала все тело одновременно со съемкой на камеры в браслете, и алгоритма, создающего из кадров аналогичную 3D-модель. Таким образом авторы собрали датасет для обучения из сырых данных с камер браслета и соответствующих им 3D-моделей. Тестирование показало, что камер только на одной руке достаточно, для создания относительно точной 3D-модели человека: при использовании одной камеры точность составляет 6,9 сантиметра, а с четырьмя камерами она повышается до 6,3 сантиметра. В 2019 году другая группа инженеров применила похожий подход и научила картонный VR-шлем со смартфоном внутри создавать модель тела пользователя. Разработчики закрепили на шлем две зеркальные полусферы: отражение в них захватывает все тело, а две сферы вместо одной позволяют снимать человека с немного разных ракурсов и получать данные о глубине. Источник: nplus1.ru Комментарии: |
|