На смену тачскрину: интерфейсы будущего

Гаджеты год от года непрерывно улучшаются, а вот способы управления техникой остаются неизменными десятилетиями. Так, история клавиатуры с раскладкой QWERTY насчитывает уже более 130 лет, а сенсорные экраны в массовых устройствах появились добрую четверть века назад. Но вряд ли тачскрины  будут царствовать так же долго, как клавиатура. Уже на подходе десятки новых, более удобных способов взаимодействия с гаджетами. Какой из них станет массовым и вытеснит тачскрин с трона?

Конечно, больше всего пользователям хочется управлять техникой силой мысли, как показывает наш недавний опрос:

Впрочем, «телепатией» перспективные интерфейсы не ограничиваются. В статье мы расскажем и о других интересных методах ввода и вывода информации в мобильных гаджетах и не только.

От человека к гаджету: интерфейсы ввода

Интерфейсы ввода можно условно разделить на голосовые, физические и биосигнальные. Физические интерфейсы подразумевают выполнение пользователем каких-либо действий — касание дисплея, жест, взгляд в определённую точку или даже выражение лица. Биосигнальные интерфейсы должны реагировать на изменения в вашем теле — частоту ударов сердца, температуру или даже мозговые волны. Некоторые из перечисленных способов применяются уже давно — те же сенсорные экраны, голосовые помощники или смарт-часы с пульсометрами, а другие пока только готовятся выйти в свет.

Распознавание образов

Камера (а вернее, набор камер) Intel RealSense является одним из наиболее проработанных альтернативных физических интерфейсов. Изобретение уже применяется в потребительских гаджетах, таких как некоторые модели ноутбуков ASUS, Dell и Lenovo. RealSense для смартфонов тоже существует, но пока на стадии устройства для разработчиков.

На смену тачскрину: интерфейсы будущего

RealSense умеет множество разных вещей: распознавать жесты, мимику и движения глаз для управления техникой (в первую очередь, ПК и ноутбуками), в том числе в играх, создавать трёхмерные модели различных объектов и людей и добавлять реалистичные эффекты на картинку с камеры. Чтобы точно угадать эмоцию, RealSense достаточно вычислить взаимное расположение на лице 78 точек, а для жеста достаточно всего 22 точек.

На смену тачскрину: интерфейсы будущего

Технология RealSense предлагает действительно впечатляющие возможности, но использует для их реализации не менее трёх камер. Применение такой системы вполне оправдано в ноутбуках, но на размещение трёх камер на фронтальной панели смартфона производители вряд ли пойдут в ближайшее время. Попытку сделать на таком гаджете систему отслеживания глаз посредством всего одной камеры несколько лет назад попыталась компания Samsung (а затем и другие), но успешной технология была лишь отчасти, к тому же далеко не всегда работала правильно. Улучшить ситуацию взялись разработчики из университета MIT, которые изобрели iTracker.

На смену тачскрину: интерфейсы будущего

iTracker — это так называемая свёрточная нейронная сеть, то есть искусственная нейронная сеть, нацеленная на распознавание изображений и работающая по принципу, сходному с функционированием нейронов зрительной коры мозга. Как и любую подобную сеть, iTracker необходимо сначала обучить. Для этого команда разработчиков пошла довольно необычным путём, выпустив приложение GazeCapture для операционной системы iOS. Любой может помочь iTracker стать умнее. Необходимо загрузить программу и немного поиграть, отвечая на вопросы приложения о том, правильно ли оно угадало направление взгляда. Пока не очень понятно, как именно в дальнейшем будет использоваться данная нейронная сеть. Но поскольку проекту оказывают поддержку такие компании, как Samsung и Toyota, можно предположить, что они станут применять разработанные технологии в своих новых продуктах.

Распознавание жестов и движений

Проект под названием Soli был рождён в недрах компании Google X, входящей в холдинг Alphabet. Изначально Soli предполагалось использовать в носимой электронике, оснащённой небольшим сенсором, работающим по принципу радара. Это даёт возможность управлять интерфейсом тех же умных часов посредством мельчайших движений ладони или пальцев, которые другие датчики (например, акселерометры) определить не способны.

На смену тачскрину: интерфейсы будущего

От этих идей Google X пока не отказывается, но совсем недавно сторонние разработчики из Сент-Эндрюсского университета в Шотландии нашли Soli ещё более необычное применение. Новая технология получила название RadarCat. Она представляет собой комбинацию сенсора Soli и оригинальных алгоритмов, которые вместе позволяют мгновенно распознавать различные объекты. Принцип работы RadarCat схож с компьютерным зрением, однако в данном случае анализируется не плоская проекция объекта, а его трёхмерная форма. Сопоставление полученных данных осуществляется по словарю, но RadarCat также способна и к самообучению. Непосредственно распознавание происходит практически мгновенно.

Когда мы чуть выше сказали, что акселерометры не могут определять мельчайшие жесты, мы немного слукавили: именно на этом принципе и работает альтернатива Soli — проект ViBand. Команде разработчиков из Университета Карнеги — Меллон удалось «разогнать» акселерометр умных часов до частоты 4 кГц, в то время как обычные акселерометры в мобильных гаджетах работают на частоте 100 Гц (то есть передают показания датчика процессору 100 раз в секунду). Результатом увеличения частоты стал рост разрешающей способности акселерометра. Таким образом можно распознавать даже лёгкие шорохи или щелчки рядом с устройством и управлять им жестами или постукиваниями.

На смену тачскрину: интерфейсы будущего

Несмотря на достойные результаты работы и точность, практически не уступающую Soli, главной проблемой ViBand остаётся значительное энергопотребление. Если разработчикам удастся с ней разобраться, то для точной жестовой навигации не понадобится внедрение новых датчиков, ведь акселерометр есть почти в любом носимом гаджете.

Распознавание мыслей

Чтение мыслей всегда было чуть ли не главной мечтой писателей-фантастов. Конечно, до качественного распознавания образов напрямую из мозга науке ещё далеко, но с задачей управления устройствами современные нейроинтерфейсы вполне справляются. Среди них стоит отметить такие гаджеты, как MindWave Mobile и EMOTIV Epoc+, которые представляют собой довольно компактные приспособления, надеваемые на голову. К слову, на фотографии ниже находится основатель «Википедии» Джимми Уэйлс.

На смену тачскрину: интерфейсы будущего

Работают подобные аппараты следующим образом: одни и те же простейшие действия (например, фокусировка на каком-либо объекте на экране) у большинства людей вызывают одинаковые сигналы в коре мозга, которые и считываются чувствительными датчиками. Конечно, возможны и ошибки распознавания — тогда на помощь приходит обучение «чтению мыслей». Пока посредством подобных устройств можно выполнять только довольно простые действия. Однако нейроинтерфейсы продолжают активно развиваться, и скорее всего в будущем подобные гаджеты станут распространёнными повсеместно.

От гаджета к человеку: интерфейсы обратной связи

Помимо интерфейсов ввода различные компании и команды инженеров продолжают улучшать и интерфейсы обратной связи (вывода информации). Здесь непросто создать что-то принципиально новое, но некоторые разработки всё же заслуживают внимания.

Тактильный отклик

Вибрация при нажатии на сенсорные поверхности — один из самых старых и очевидных способов дать знать пользователю, что касание действительно было сделано. К сожалению, у этого приёма (как и у звукового отклика) есть серьёзный недостаток — отсутствие привязки к конкретной точке. Первую попытку решить данную проблему сделала компания Apple, представив систему Taptic Engine в MacBook Pro 13” 2015 года. Размещённый под тачпадом вибромотор создаёт ощущение нажатия, а не вибрации, причём именно в том месте, куда вы положили палец. Слово «ощущение» мы употребили намеренно — это всё-таки имитация, что явно заметно при касании у краёв тачпада.

На смену тачскрину: интерфейсы будущего

Способ сделать подобный отклик ещё правдоподобнее Apple запатентовала в 2013 году. Компания предлагает разместить под дисплеем матрицу актуаторов. Это вид микроэлектромеханических систем, преобразующих электрический сигнал в физическое воздействие — эдакий «сенсор наоборот». Актуаторы будут срабатывать именно в том месте, где произведено нажатие. Неизвестно, когда именно производитель собирается внедрить данную технологию в свои устройства, но мы надеемся её увидеть в ближайшем будущем.

На смену тачскрину: интерфейсы будущего

Прямая передача изображения на сетчатку

Системы дополненной реальности развиваются не так быстро, как хотелось бы, и одна из причин — отсутствие удобного способа «наложения» виртуальных объектов на реальный мир. Постоянно ходить со смартфоном в руках утомительно, а проект Google Glass, который мог бы решить эту проблему, был без лишнего шума закрыт. Конечно, наиболее удобный способ использования дополненной реальности — прямая трансляция изображения на сетчатку глаза. Для появления такой технологии предстоит решить ещё множество задач, но первый шаг уже сделан. Так, человеку, потерявшему центральное зрение из-за макулодистрофии, в 2015 году был внедрён бионический имплант Argus II.

На смену тачскрину: интерфейсы будущего

Argus II представляет собой систему из двух компонентов. Первый — непосредственно сам имплант, который крепится к задней части глазного яблока и стимулирует светочувствительные клетки. Второй — специальные очки с видеокамерой, транслирующие изображение на имплант беспроводным способом. Таким образом можно передавать глазу и любую другую картинку. Пока транслируемое изображение имеет довольно низкое разрешение, да и стоимость Argus II составляет внушительные 150000 фунтов стерлингов (включая операцию).

Автоподбор звуков

Казалось бы, звук — это та область, где придумать что-то новое практически невозможно, но учёные смогли удивить и здесь. В детском саду нас учили связывать объекты и звуки: собака говорит «гав», кошка говорит «мяу». Этот же принцип перенесли и на нейронные сети. Специалисты компании Disney Research обучали нейросеть с помощью видеозаписей, сопоставляя для каждой из них определённое понятие. Причём программа сама отфильтровывала фоновые и посторонние шумы, оставляя лишь главные звуки. По завершении обучения нейронная сеть смогла безошибочно подбирать звуки под фотографии — результат показан на видео ниже.

Зачем это нужно? Во-первых, данная технология пригодится создателям фильмов и компьютерных игр. Она способна сделать работу звукорежиссёра частично (а в перспективе и полностью) автоматической. Во-вторых, программа сумеет озвучивать реальный мир людям с нарушениями слуха без использования микрофонов и усиления звука. Разработчики обещают, что с дальнейшим обучением нейросети подбираемые звуки будут становиться всё менее отличимыми от реальных, а в перспективе они станут даже лучше настоящих благодаря отсутствию посторонних шумов и прочих дефектов. Буквально как в кино!

Заключение

Большинство перечисленных в этой статье разработок — уже не просто концепты, а вполне массовые устройства. Конечно, для того, чтобы ими было можно заменить ставшие привычными современные методы ввода, компаниям и разработчикам предстоит ещё немало потрудиться. Однако мы уверены в том, что уже через несколько лет пользователи будут вовсю наслаждаться преимуществами жестового управления, нейроинтерфейсами и другими подобными решениями.

Источник: vk.com

Комментарии: