Вам интересны новые технологии и то как они работают?

Вам интересны новые технологии и то как они работают? Читайте мнение Марка Цукерберга о разработке собственного домашнего помощника по примеру Джарвиса из «Железного человека»:

Разработанный предпринимателем помощник управляет светом, дверьми и «умными» устройствами. «Джарвисом» можно управлять, используя голосовое приложение для iPhone, бота для Facebook Messenger или камеры наблюдения. В систему встроены алгоритмы распознавания и анализа речи и технология распознавания лиц.

Самый трудоёмкий шаг, по словам Марка Цукерберга, стало объединение всех «умных» устройств в доме в единую систему, которой можно было бы управлять с помощью одного интерфейса. Ему даже пришлось применять методы обратной разработки, чтобы построить простейшую систему управления всеми устройствами с помощью ПК. Такие же неудачи постигли его и при работе с «пушкой» для футболок и с дозатором собачьего корма. «Чтобы каждый мог создать помощника вроде Джарвиса, индустрии надо озаботиться созданием единых API и стандартов работы для всех "умных" устройств».

Распознавание речи

Сначала система просто искала в полученном тексте ключевые слова — например, «спальня», «свет» и «включить». Затем Цукерберг обучил её распознавать синонимы. «Понимание контекста — важная особенность для искусственного интеллекта. Например, когда я прошу включить свет в моём кабинете, это значит совсем не то же самое, что и та же фраза из уст Присциллы. Или когда я прошу систему включить музыку, не называя комнату, — ей нужно самостоятельно определить, где я нахожусь, и включить музыку в этой комнате».

Одной из самых интересных областей для исследования стала музыка. «Существует столько альбомов, исполнителей и различных композиций. Свет можно только сделать ярче или приглушить, но сколько разных музыкальных запросов начинаются на play: например, "play someone like you", "play someone like adele", and "play some adele", — это только запросы, так или иначе относящиеся к творчеству Адель, и у каждого из них совершенно разный смысл, хотя внешне они очень похожи. Обычно я прошу Джарвиса "включить музыку", он изучает, что я слушал в последнее время и предлагает плейлист. Если он не угадал с настроением, я говорю: "Нет, это не легкая композиция. Включи что-нибудь лёгкое", — и тогда он переключает песню и одновременно обучается. Кроме того, он различает, кто с ним говорит — я или Присцилла».

Распознавание лиц и изображений

Цукерберг также внедрил в систему алгоритмы распознавания изображений и видео. «Есть множество проблем, с которыми приходится сталкиваться домашнему помощнику, — например, распознавание движений на видео. Спит ли Макс в своей кроватке или уже проснулась? Кто лежит на полу в комнате — наша собака или ковёр? Кто стоит за дверью?»

У людей схожие черты лица. Алгоритмы социальной сети умеют определять друзей пользователя и его самого на фотографиях. Эти алгоритмы и использовал предприниматель. Марк установил у двери своего дома несколько камер под разными углами — чтобы удостовериться, что как бы ни стоял гость, система сможет увидеть его лицо полностью. Поняв, что за человек стоит перед дверью, «Джарвис» проверяет, есть ли такой человек в списке гостей, которых ждут хозяева дома. Если есть, система открывает дверь и пускает гостя внутрь, а также извещает хозяев о том, кто пришёл.

Алгоритмы распознавания лиц не только помогают системе идентифицировать гостей и управлять дверьми, но и, например, определять, в какой комнате находятся Марк, Макс и Присцилла, чтобы корректно реагировать на запросы — или, например, включать для годовалой Макс уроки мандаринского, когда она просыпается.

Бот для Facebook Messenger

Поначалу Цукерберг управлял системой со своего компьютера. «Но чтобы помощник был действительно полезным, у владельца должен быть доступ к системе, вне зависимости от того, где он находится — даже если он на работе или на прогулке. Я решил создать бота для мессенджера — потому что это гораздо проще, чем разрабатывать отдельное приложение».

Распознавание голоса и речи

Для того, чтобы давать команды помощнику с помощью голоса, Цукерберг создал отдельное приложение, которое слушает, что происходит вокруг, и определяет, когда предприниматель обращается к «Джарвису». Предприниматель разработал приложение для iOS, и вскоре планирует реализовать и программу для Android.

По словам Цукерберга, он обнаружил, что голосовые системы всё ещё не очень хорошо понимают разговорную речь и эффективнее работают с четко структурированными запросами. При этом часто системы анализа речи и машинного обучения ориентированы на одну область и не могут одинаково точно распознавать запросы из разных сфер.

Голосовые системы кажутся человеку более близкими, чем компьютеры, говорит Цукерберг: «Как только я встроил в Джарвиса голосовые алгоритмы, мне захотелось добавить в них немного юмора. Частично из-за того, что помощнику нужно общаться с Макс и развлекать её, а частично из-за того, что мне самому так было бы комфортнее».

Что дальше

Цукерберг замечает, что продолжит развивать систему. Всего на создание помощника у Цукерберга ушло около 100 часов. По его словам, он всё ещё далёк от понимания того, как должно работать машинное обучение, но даже если бы он провёл за работой на 1000 часов больше, то не приблизился бы к разгадке.

По словам корреспондента Fast Company, которому удалось побывать у Цукерберга дома и взглянуть на работу системы, помощник всё ещё часто делает ошибки. Например, предпринимателю пришлось четырежды просить «Джарвиса» выключить свет в комнате, пока система не поняла команду.

Источник: vc.ru

Комментарии: