Новая модель ИИ понимает жесты рук

Исследователи из Наньянгского и Сиднейского технологических университетов разработали систему машинного обучения, которая может распознавать жесты рук. Для этого она анализирует изображения с помощью растягивающихся тензометрических датчиков. Архитектура искусственного интеллекта (ИИ) описана в журнале Nature Electronics, ученые вдохновились устройством мозга человека.

Они заметили, что когда люди решают практические задачи, они, как правило, соединяют визуальную и соматосенсорную информацию, полученную из окружающей среды. Эти два типа информации дополняют друг друга, так как в сочетании они дают лучшее представление обо всех данных, которые нужны для решения проблемы.

Разрабатывая свою методику распознавания жестов, Чен и его коллеги обеспечили возможность интеграции различных видов сенсорной информации, собранных с помощью нескольких датчиков. Дополнив их компьютерным зрением они создали систему, которая может распознавать жесты с точностью в 85%.

Его многослойная и иерархическая структура имитирует структуру мозга, но с искусственными нейронными сетями вместо обычных. Кроме того, некоторые сети в их архитектуре обрабатывают те же самые модальные сенсорные данные, обрабатываемые нейронными сетями в мозге. Например, секционная нейронная сеть (CNN) специально выполняет конверсионные операции, искусственно воспроизводя функцию локального рецепторного поля внутри биологических нервных систем. Так она имитирует начальную обработку визуальной информации, которая происходит в тех частях человеческого мозга, которые отвечают за зрение.