Этот мод Amazon Echo позволяет Alexa понимать язык жестов

Похоже, голосовые интерфейсы будут большой частью будущего вычислений; появляются в телефонах, смарт-динамиках и даже бытовой технике. Но насколько полезна эта технология для людей, которые не общаются с помощью речи? Мы создаем систему, которая блокирует определенных пользователей?

Это были вопросы, которые вдохновили разработчиков программного обеспечения Абхишек Сингх создать мод, который позволяет Амазонки Алекса помощник понять некоторые простые жестового языка команд. В видео Сингх демонстрирует, как работает система. В Amazon Эхо подключен к ноутбуку с веб-камеры (и некоторые машинного обучения программного обеспечения) декодирования Сингха жестов в текст и речь.

Говоря на грани, Сингх говорит, что проект был “мысленный эксперимент”, вдохновленный недавней моде на голосовые помощники. ” Если эти устройства должны стать центральным способом, при котором во взаимодействии с нашими домами или выполнять задачи, то некоторые мысли должны быть даны к тем, кто не может слышать или говорить, " говорит Сингх. "Бесшовный дизайн должен быть инклюзивным в природе.

Собственно сам мод был сделан с помощью Гугла TensorFlow программного обеспечения, в частности TensorFlow.яш, которая позволяет пользователям код машинного обучения приложений на JavaScript (что делает его легче запускать приложения в веб-браузерах). Как и в любом программном обеспечении машинного зрения, Сингх должен был научить свою программу понимать визуальные сигналы, подавая обучающие данные. Он не мог найти какие-либо наборы данных для языка жестов в интернете, а вместо этого создал свой собственный набор базовых сигналов.

Мод понимает только несколько жестов, но добавить новый словарный запас будет легко. Кредит: Абхишек Сингх

Программное обеспечение является просто доказательством концепции на данный момент, и не может читать какие-либо признаки, которые не демо-версии в видео. Но добавить больше словаря относительно легко, и Сингх говорит, что он планирует открыть исходный код и написать объяснительный пост в блоге для своей работы. “Выпустив код, человек сможет скачать его и построить на ней дальше или просто вдохновиться для изучения этой проблемы пространства”, - говорит он на грани.

Кстати, вчера Amazon выпустила собственное обновление для Алекса, который позволяет пользователям с экраном-оборудованная Эхо взаимодействовать с виртуальным помощником без использования голосовых команд. Это показывает, что Amazon, по крайней мере, начинает рассматривать, как построить доступность в своем голосовом помощнике, и кто знает, что понимание языка жестов может быть следующим шагом. Это, конечно, технически возможно, как показывает демо Сингха.

“Нет причин, по которым Amazon Show или любой из голосовых помощников на основе камеры и экрана не мог бы создать эту функциональность прямо в", - говорит Сигх. "Для меня это, вероятно, окончательный пример того, что показывает этот прототип.

Источник: www.theverge.com

Комментарии: