Нейронные сети для распознавания эмоций людей во время игр в VR (TechXplore, 4 сентября)

Виртуальная реальность (VR) открывает новые захватывающие рубежи в разработке видеоигр, прокладывая путь к всё более реалистичным, интерактивным и захватывающим игровым процессам. Консоли виртуальной реальности, по сути, позволяют геймерам почувствовать, что они почти «внутри» игры, преодолевая ограничения, связанные с разрешением экрана и проблемами с задержкой.

Команда исследователей из Университета Йонсей и Motion Device Inc. недавно предложила методику машинного обучения, которая может позволить компьютеру распознавать эмоции во время игр в виртуальной реальности. Их доклад был представлен на конференции IEEE 2019 года по виртуальной реальности и трехмерным пользовательским интерфейсам.

Команда исследователей из Университета Йонсей и Motion Device обучили три сверточные нейронные сети (CNN) — а именно DenseNet, ResNet и Inception-ResNet-V2 — для прогнозирования эмоций людей по частичным изображениям лиц. Они взяли изображения из набора данных Radbound Faces (RaFD), который включает в себя 8040 изображений лиц 67 объектов, а затем отредактировали их, закрыв ту часть лица, которая будет закрыта HMD при использовании VR.

Исследование показывает, что в будущем инструменты распознавания эмоций могут быть интегрированы с технологией VR.

В настоящее время исследователи планируют заменить черные прямоугольники, которые они использовали в своем исследовании, реальными изображениями людей, одетых в HDM. Это должно в конечном итоге позволить им обучать компьютеры более надежно и эффективно, подготавливая их для реальных приложений.

Значит ли это, что людей ждут ещё более классные игрушки в VR, в которых события будут буквально подстроены под каждого человека, под разные темпераменты людей? Узнаем!

Комментарии: