Концепт нового дизайна Siri для iOS с фоновым режимом голосового помощника

МЕНЮ


Искусственный интеллект
Поиск
Регистрация на сайте
Помощь проекту

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


Перевод материала UX-дизайнера Кевина Эжена о том, как управлять Siri, не переключаясь с одного приложения на другое.

После работы над моей версией дизайна для Youtube и концепцией macOS я решил взяться за свою любимую платформу — iOS.

В 2009 году мои знакомые вряд ли знали про iPhone: новое устройство ещё не достигло берегов Франции. Впервые своими глазами я увидел его, сидя в ресторане с тетёй (да, той самой, у которой стоял огромный iMac в гостиной). Она привезла iPhone с собой, и я провёл со смартфоном весь вечер.

Помню, как сильно поразился тому, насколько легко с ним управляться и как быстро я привык к функции мультитач — экран реагировал на несколько касаний сразу.

Раньше сенсорные экраны были неподатливы (приходилось реально приложить усилия, чтобы сделать хоть что-то) и явно не так приятны в обращении. Вернувшись домой, уже через несколько месяцев я умолял родителей купить мне смартфон от Apple и в итоге получил на день рождения чудесный iPhone 3G.

В нем не было важных функций вроде видеокамеры или MMS, но мне было всё равно: пользоваться им оказалось невероятно удобно, в этом плане Apple оставила конкурентов далеко позади, а у App Store был большой потенциал для развития.

Спустя почти десять лет iOS стала намного лучше, и теперь каждый год все с нетерпением ждут новой версии с набором новых функций. На этот раз я хочу презентовать обновление, от которого я был бы в восторге, появись оно на WWDC.

Позвольте представить вам iOS Mogi.

Это Моджи, прекрасная рыбацкая деревушка рядом с Нагасаки, Япония. Я сделал это фото в прошлом году

«Эй, Сири, помоги мне»

Первая часть концепции сосредоточена на Siri. Суть не в том, чтобы добавить новые команды, я хочу переосмыслить существующие и уже хорошо работающие запросы вроде «найди мне хороший ресторан поблизости» и «покажи мне снимок Японии, который я сделал в прошлом году» — так, чтобы они стали более удобными.

В iOS Mogi работа Siri построена вокруг концепции, которую я назвал «параллельная помощь». Идея в том, чтобы голосовой помощник был ненавязчивым (он не будет занимать весь экран, как это происходит сейчас), понимал контекст и мог работать в фоновом режиме, пока пользователь занят другим приложением.

Поскольку образы точнее слов, вот простой пример.

Использование Siri в «Сообщениях». Переписка: «Вау! Такое крутое фото!» — «Да, сам знаю. Сделал его по пути домой. Была невероятно яркая ночь». — «Подожди, у меня тоже есть пара классных фото! Давай покажу!» В это время пользователь просит Siri: «Покажи мне фотографии из Японии». — «Я нашла 2614 фотографий из Японии».

Когда вы используете приложения, Siri принимает форму уведомлений, чтобы не быть такой назойливой (если вызвать её с главного экрана или экрана блокировки, она откроется в полноэкранном режиме).

Siri в iOS Mogi

В этом примере я прошу Siri показать мне фотографии из Японии, потому что хочу скинуть одну из них моему другу Яннику. Результат появляется в виде уведомления от Siri, так что я могу продолжить заниматься своими делами, голосовой помощник не отрывает меня. Я могу провести вниз по экрану, чтобы посмотреть результат и выбрать фото, которое хочу отправить.

Выбор фото перед отправкой

Или я могу напрямую перетащить изображение из развёрнутого уведомления в приложение (наконец вносим вклад в функцию «перетаскивание» в iPhone).

Перетаскивание фотографии из Siri в «Сообщения». Для отмены нужно перетащить объект за пределы экрана

Если уведомление остаётся без внимания, оно сжимается и уходит наверх.

Сжатие уведомления

Его можно открыть снова, проведя вниз по экрану (позже мы к этому вернёмся).

Открываем Siri повторно. Последний запрос появляется снова

Новая Siri удобна тем, что результаты запроса можно использовать в других приложениях.

При переключении между приложениями результат запроса остаётся доступным, и мы можем использовать его снова

Я считаю, что разработка новой ненавязчивой Siri откроет широкие возможности для её использования, что сильно выделит голосовой помощник от Apple среди конкурентов благодаря глубокой интеграции в ОС. Вот несколько примеров того, что можно достичь с новой Siri.

Ответ на запрос «найди рестораны поблизости». Нужно нажать на уведомление, чтобы получить дополнительную информацию, или перетащить его, чтобы поделиться информацией с кем-либо. Сдвиньте вниз, чтобы увидеть другие рестораны. Перевод сообщений: «Я сегодня свободен!» — «Класс! Где хочешь поесть? Я в нетерпении».— «Не знаю… Ресторан, куда ездили в прошлый раз, слишком далеко. Давай подберем что-нибудь поближе». Siri: «Вот что я нашла: Aki, японская кухня, в двухстах метрах от вас».
На часах 8:50, встреча с Крэйгом назначена на 9:00 в кампусе Apple, пользователь явно не успевает. Сообщение от Siri: «Вы опаздываете на встречу с Крэйгом. Отправить ему сообщение?». Это проактивная Siri. Если, проверив адрес, Siri обнаружит, что вы опаздываете, она появится на экране и предложит варианты действий. В этом случае можно нажать на уведомление, чтобы отправить SMS Крэйгу, или сдвинуть вниз, чтобы связаться с ним с помощью другого приложения для обмена сообщениями.

И это ещё не всё. С помощью iOS Mogi можно попросить Siri показать страницы из одного приложения, пока вы работаете в другом. Можно вставить фото из переписки с другом в iMessage в email, оставаясь в окне набора сообщения.

Запрос: «Открой мою переписку с Янником». С новой Siri можно открыть свою переписку, не отрываясь от набора сообщения по электронной почте.

Это положит начало настоящей многозадачности, и я думаю, что такое решение больше подходит для мобильных устройств, чем вертикальное разделение экрана на две половины.

«Эй, Сири, я хочу…»

Чувствуешь разочарование, когда после нескольких попыток отправить сообщение с помощью Siri плюешь на всё и начинаешь вводить текст вручную.

В iOS Mogi вместо того чтобы полностью полагаться на Siri, вы можете с её помощью ускорить процесс. Больше никакого блуждания по интерфейсу, просто начните свой запрос со слов «я хочу…», и Siri поможет, не сворачивая приложения, которое вы используете.

Запрос: «Я хочу написать Яннику»

Эта функция работает и на экране блокировки.

Запрос: «Эй, Сири, я хочу написать Яннику». Siri: «Хорошо, я не подсматриваю». С помощью Siri можно написать Яннику сообщение с экрана блокировки.

«Эй, Сири, прокрути вниз немного»

Ненавязчивая Siri открывает новые возможности. Одна из них — Siri actions.

Siri actions даёт возможность заменить сенсорные жесты на голосовые команды. Всё от касания до прокрутки можно сделать, отправив голосовой запрос. Так я могу попросить Siri прокрутить вниз мой список альбомов и открыть “High as Hope” от Florence and the Machine.

Навигация в приложении Apple Music с помощью Siri

Если бы Siri занимала весь экран и не учитывала контекст, совершить эти простые действия было бы невозможно. Теперь же, когда я пишу email, то могу попросить Siri изменить получателя, добавить подпись или даже изменить шрифт.

Редактирование сообщения при помощи Siri. Разговор с Siri: «Выдели последний абзац жирным». — «Хорошо, выделила». — «Поставь деловую подпись». — «Хорошо, подпись реального профи».

Я думаю, это незаменимый инструмент для людей с ограниченными возможностями. С Siri actions навигация в ОС стала бы простой как никогда раньше. Даже для людей без ограниченных возможностей новая функция была бы очень полезна: можно управлять телефоном, когда заняты руки, или просто облегчить себе некоторые действия (как в примере выше с написанием email).

Можно зайти ещё дальше с помощью ARKit 2, которая достаточно точно может фиксировать движения глаз (но давайте в рамках этой концепции не будем уходить так далеко).

Разработчик Apple управляет Iphone X с помощью технологии, которая позволяет фиксировать траекторию движения глаз

Я думаю, добавление Siri actions согласуется с изначальной идеей Siri как голосового помощника, который должен помочь пользователю совершать простые действия голосом. Сделать Siri ненавязчивой — лишь шаг вперёд в этом направлении.

Siri actions предоставляет новую возможность: сохранение элементов из одного приложения для использования их в другом. Откройте фотографию и скажите Siri «сохрани это фото», чтобы сохранить его.

Разговор с Siri: «Сохрани это изображение». — «Окей, положу к себе в сумочку».

Откройте другое приложение и перетащите туда фотографию из уведомления от Siri.

Перетаскивание сохранённого фото в Medium

Это работает и при копировании-вставке.

Пользователь выделил текст и нажал «копировать». Текст уведомления от Siri: «Просто нажмите сюда, чтобы вставить текст в текущее приложение. Вы можете…» Когда элемент скопирован, он появляется в уведомлении от Siri и может быть использован в другом приложении. Сдвиньте вниз уведомление, чтобы увидеть все скопированные вами элементы, будь то текст, изображение или email.

Просто нажмите на скопированный текст, чтобы вставить его в открытое приложение. Можно также перетащить элемент в нужное место.

Вставка элемента из «Заметок» в Medium

Вы можете попросить Siri показать все сохранённые элементы с помощью соответствующего запроса.

Текст уведомления: «Здесь всё, что вы сохранили». Скажите «покажи мои сохраненные элементы», и Siri выведет их на экран. Вы можете перетащить их в приложение или нажать на элементы, чтобы отредактировать перед использованием.

После использования элементы удаляются из списка.

Для новой Siri на этом всё. А что, если мы применим тот же принцип ненавязчивой многозадачности для других программ? Новые сенсорные жесты и голосовые команды можно использовать где-нибудь ещё. Что это нам даст? Прежде чем развернуть эту мысль, посмотрим, как их можно применить в конкретном приложении, в котором я лично провожу много времени: Apple Maps.

Apple Maps

Прошу не кидать в меня камнями, но мне реально нравится приложение Apple Maps. Хотя оно не всегда точное, особенно здесь, во Франции, Apple Maps восхитительно спроектировано. Разместить навигационную панель внизу экрана, как это было представлено в iOS 10 после редизайна приложения, — блестящая идея. Неудивительно, что подобное решение начало появляться в других приложениях вроде Lyft.

И всё же есть одна вещь, которая раз за разом доставляет неудобство — приложение недостаточно учитывает контекст, особенно это касается систем общественного транспорта.

Если я еду на поезде и пытаюсь построить новый маршрут, Apple Maps не знает, что я в вагоне, и предлагает маршруты, основываясь только на текущем местоположении, в то время как должно учитывать и местоположение, и мою транспортную линию. Часто маршрут начинается там, куда я просто не могу добраться; в этом случае Apple Maps становится бесполезным.

Конечно, должны быть способы, с помощью которых Apple Maps определит, что я еду по конкретной ветке. В Apple Maps есть пути сообщений, возможно, приложение могло бы просто сверять моё местонахождение с маршрутами общественного транспорта. Как только алгоритм определит, что я еду, скажем, по ветке Кэйо в Токио, вот что может произойти.

Всплывающее окно: «Вы на линии Кейо?». Apple Maps обнаруживает, что пользователь едет в общественном транспорте

Всплывающее окно может спросить пользователя, действительно ли тот движется по Кэйо. Его можно закрыть сдвигом вниз или, если вы правда на Кэйо, но едете в другую сторону, можно сдвигать влево или вправо, пока не найдёте своё направление. После подтверждения от пользователя Apple Maps создаст новые маршруты, основываясь на полученной информации.

После того как пользователь подтвердил транспортную линию и направление пути, приложение начинает строить маршруты, в которых текущая ветка будет начальной точкой

Маленькая чёрная кнопка с поддержкой 3D Touch в реальном времени отразит ваше местоположение на линейной схеме.

Линейная схема остановок, на которой можно увидеть своё местоположение в реальном времени

Почему я внезапно заговорил об Apple Maps и как это связано с предыдущей частью статьи? Дело в том, что у iOS мало возможностей держать пользователя в курсе того, что происходит прямо сейчас. Разработчики придумали пару-тройку трюков, но они больше похожи на хаки, о которых я расскажу позже.

Думаю, пользователям было бы интересно отслеживать своё местоположение на маршруте, пока они заняты чем-то другим вроде игры в телефоне или электронной книги, и должна быть возможность быстро вернуться в Apple Maps (или другое приложение для навигации), не задействуя App Switcher или возврат на домашний экран.

Решение проблемы — Live Notifications («живые» уведомления).

Live Notifications или мультизадачность для мобильных устройств

Сначала обратим внимание на то, как iOS пытается показать пользователю, что приложения работают в фоновом режиме.

Таймер; телефонный звонок или Facetime; движение по маршруту
Карты; режим модема; когда записывается видео с экрана или включён диктофон

И на этом всё. Я не включил в список музыкальный плеер, потому что он работает удобно и я не вижу причин что-либо в нём менять.

А как же ситуация, когда к вам едет Uber? Когда ждёшь доставщика еды? Когда видео воспроизводится на Youtube или Netflix? Или когда мы едем в общественном транспорте и хотим отслеживать своё движение по маршруту?

Здорово, что Apple сделали легкодоступными телефонные звонки и маршруты Apple Maps — в строке состояния или на экране блокировки. Тем не менее возможности ограничены несколькими родными приложениями, и ничего нельзя сделать, не открыв одно из них.

В то время как приложения должны быть доступны где угодно и когда угодно, чтобы не приходилось ради них отрываться от других дел, вдобавок некоторые плохо интегрированы в систему и странно отображаются.

Они больше похожи на непродуманное решение, которое скорее «взламывает» систему, чем является полноценной функцией. Для подобных ситуаций нужно найти более элегантное решение, которое будет доступно и для сторонних приложений тоже.

«Живые» уведомления разработаны в качестве такого решения.

Вернёмся к примеру с чтением книги в метро с помощью Apple Book. Вот как можно будет отслеживать своё передвижение по векте.

Отслеживание маршрута без отрыва от чтения книги с помощью «живого» уведомления. Если некоторое время не взаимодействовать с синей панелью, она исчезнет. Также в «живом» уведомлении вместо названия приложения может отображаться полезная информация (в этом примере “Apple Maps” изменено на “Using Kei? Line”).

Чтобы узнать своё местоположение на маршруте, пользователю достаточно немного сдвинуть вниз маленькую панель вверху экрана.

Чтобы открыть центр уведомлений, нужно сдвинуть её дальше.

Рассматривайте жест как вариацию этого из iOS 10: вы слегка сдвигаете вниз верхнюю часть экрана и чувствуете тактильную обратную связь, которая даёт понять, что «живое» уведомление открыто, и если сдвинуть ниже, откроется центр уведомлений. Вот и всё, не сворачивая Apple Books, пользователь может узнать, на каком отрезке маршрута он едет, чтобы не пропустить свою остановку.

Эти жесты должны быть вам знакомы. Если вы помните, это те же жесты, что я предложил для управления Siri. Фактически в iOS Mogi Siri — это «живое» уведомление. Так что все представленные ранее жесты подходят и для Live Notifications.

В этом случае пользователь может сдвинуть вниз «живое» уведомление, чтобы посмотреть своё местоположение на карте в реальном времени. Он может взаимодействовать с развёрнутым «живым» уведомлением.

«Живое» уведомление открыто и показывает позицию на карте в реальном времени. Лично я никогда не считал удобным расположение 3D Touch элемента вверху экрана. Предпочитаю старый добрый сдвиг вниз, особенно теперь, когда смартфоны от IPhone стали длиннее, чем когда-либо. Тем не менее 3D Touch уведомления в центре уведомлений имеют смысл, так как там с ними легче взаимодействовать.

Пользователь может нажать на «живое» уведомление как на обычное уведомление, чтобы открыть соответствующее приложение.

Касание открывает Apple Maps

«Живые» уведомления — это естественная эволюция Rich Notifications, представленных в iOS 10. Теперь они похожи на мини-приложения.

Что заставляет «живое» уведомление появиться? Пользователю не нужно давать специальные команды. Приложение само определяет, когда отобразить его, в зависимости от ситуации. Вот что происходит, когда «живое» уведомление активируется.

Секундомер в виде «живого» уведомления

Приложение сжимается до «живого» уведомления, чтобы известить пользователя, а затем становится маленькой панелью вверху экрана, чтобы не быть назойливым.

Вот несколько примеров того, как приложения, работающие в фоновом режиме, могут быть отражены системой с помощью «живых» уведомлений.

Телефонные звонки. Заметьте, что панель может менять свой цвет в зависимости от типа приложения (зелёный для звонков по мобильной связи или Facetime, синий для навигации и так далее)
Благодаря «живым» уведомлениям Uber может в режиме реального времени сообщать о том, когда приедет водитель, даже если само приложение не открыто. Заметьте, разработчики могут изменить стиль «живого» уведомления под дизайн приложения
Проверка маршрута с помощью Google Maps, не выходя из «Заметок» («Заметки» на заднем плане, а «живое» уведомление показано в развернутом виде)
«Живое» уведомление «Читаю сейчас» от Medium

«Живые» уведомления можно также использовать, чтобы быстро чем-то поделиться.

«Живое» уведомление «Читаю сейчас» от Medium появляется, хотя приложение закрыто. Можно поделиться статьёй с помощью перетаскивания

То же самое со скриншотами.

Делимся скриншотами перетаскиванием

Когда активно сразу несколько «живых» уведомлений, они группируются в стиле iOS 12.

Запущено несколько «живых» уведомлений сразу

Их порядок легко изменить с помощью перетаскивания, так что вы можете разместить самое важное «живое» уведомление поверх других.

Нажмите на сгруппированные «живые» уведомления и переставьте их в нужном порядке. Можно просто просмотреть список, не внося изменений

И конечно, «живые» уведомления доступны прямо на экране блокировки, вам будет легко свериться с маршрутом.

Чтение статьи на Medium в поезде, идущем по Кэйо. Разработчики сами могут решить, должны ли «живые» уведомления их приложений показываться на экране блокировки в развёрнутом виде по умолчанию, как в случае с маршрутами, где важно указать направление. (Я немного обновил стиль экрана блокировки в соответствии с новым более смелым стилем iOS.)

На этом всё. iOS Mogi — это третий вариант концепции, которую я начал разрабатывать два года назад (тогда же я начал работать над macOS Newton). В то время она называлась iOS Fuji.

С самого начала я хотел найти элегантный способ привнести в телефоны мультизадачность, ведь разделение экрана на две части никогда ею не было. Хотелось чего-то более мобильного, и я надеюсь, вы посчитаете «живые» уведомления шагом вперёд в этом направлении.


Источник: vc.ru

Комментарии: