Приложение Seeing AI от Microsoft описывает окружающий мир для слепых людей

Microsoft выпустила Seeing AI — мобильное приложение, которое с помощью компьютерного зрения описывает окружающий мир для людей с проблемным зрением.

Пользователю достаточно направить камеру на человека, чтобы приложение рассказало, кто это и что он чувствует. Если навести объектив на продукт, то программа предоставит информацию и о нём. Всё это — благодаря искусственному интеллекту, который работает прямо на смартфоне.

Прототип Seeing AI компания показала ещё в марте прошлого года на конференции Build. Но теперь приложение можно скачать на iOS — бесплатно, но пока только в США. Когда программа выйдет на Android и станет доступна в других странах, не сообщается.

Приложение может быть полезно в целом ряде случаев. Оно узнаёт людей, которых «видело» раньше, и определяет возраст и эмоциональное состояние незнакомцев. Также программа идентифицирует продукты по штрих-кодам, сканирует документы и распознаёт американскую валюту.

Чтобы «видеть» мир вокруг, Seeing AI работает с нейронными сетями. Большинство базовых функций приложения выполняются прямо на мобильном устройстве — то есть достаточно быстро и без доступа к Интернету. Но некоторые экспериментальные возможности требуют подключения к облаку: например, описание целых сцен и распознавание почерка.

Технический руководитель Seeing AI Сакиб Шейх (Saqib Shaikh) рассказал, что чаще всего использовал приложение для считывания знаков и меню. Он отметил, что программа не только осуществляет оптическое распознавание символов, но и направляет пользователя — просит переместить камеру правее или левее.

«Одна из вещей, которые мы хотели сделать — реализовать распознавание лиц на устройстве, и мы сделали так, что вы получите результат за несколько миллисекунд, — рассказал Шейх. — Мы фокусируемся на скорости и стараемся делать как можно больше вещей прямо на устройстве».

^{По материалам 3DNews}