Концепт нового дизайна Siri для iOS с фоновым режимом голосового помощника

Перевод материала UX-дизайнера Кевина Эжена о том, как управлять Siri, не переключаясь с одного приложения на другое.

После работы над моей версией дизайна для Youtube и концепцией macOS я решил взяться за свою любимую платформу — iOS.

В 2009 году мои знакомые вряд ли знали про iPhone: новое устройство ещё не достигло берегов Франции. Впервые своими глазами я увидел его, сидя в ресторане с тетёй (да, той самой, у которой стоял огромный iMac в гостиной). Она привезла iPhone с собой, и я провёл со смартфоном весь вечер.

Помню, как сильно поразился тому, насколько легко с ним управляться и как быстро я привык к функции мультитач — экран реагировал на несколько касаний сразу.

Раньше сенсорные экраны были неподатливы (приходилось реально приложить усилия, чтобы сделать хоть что-то) и явно не так приятны в обращении. Вернувшись домой, уже через несколько месяцев я умолял родителей купить мне смартфон от Apple и в итоге получил на день рождения чудесный iPhone 3G.

В нем не было важных функций вроде видеокамеры или MMS, но мне было всё равно: пользоваться им оказалось невероятно удобно, в этом плане Apple оставила конкурентов далеко позади, а у App Store был большой потенциал для развития.

Спустя почти десять лет iOS стала намного лучше, и теперь каждый год все с нетерпением ждут новой версии с набором новых функций. На этот раз я хочу презентовать обновление, от которого я был бы в восторге, появись оно на WWDC.

Позвольте представить вам iOS Mogi.

«Эй, Сири, помоги мне»

Первая часть концепции сосредоточена на Siri. Суть не в том, чтобы добавить новые команды, я хочу переосмыслить существующие и уже хорошо работающие запросы вроде «найди мне хороший ресторан поблизости» и «покажи мне снимок Японии, который я сделал в прошлом году» — так, чтобы они стали более удобными.

В iOS Mogi работа Siri построена вокруг концепции, которую я назвал «параллельная помощь». Идея в том, чтобы голосовой помощник был ненавязчивым (он не будет занимать весь экран, как это происходит сейчас), понимал контекст и мог работать в фоновом режиме, пока пользователь занят другим приложением.

Поскольку образы точнее слов, вот простой пример.

Когда вы используете приложения, Siri принимает форму уведомлений, чтобы не быть такой назойливой (если вызвать её с главного экрана или экрана блокировки, она откроется в полноэкранном режиме).

В этом примере я прошу Siri показать мне фотографии из Японии, потому что хочу скинуть одну из них моему другу Яннику. Результат появляется в виде уведомления от Siri, так что я могу продолжить заниматься своими делами, голосовой помощник не отрывает меня. Я могу провести вниз по экрану, чтобы посмотреть результат и выбрать фото, которое хочу отправить.

Или я могу напрямую перетащить изображение из развёрнутого уведомления в приложение (наконец вносим вклад в функцию «перетаскивание» в iPhone).

Если уведомление остаётся без внимания, оно сжимается и уходит наверх.

Его можно открыть снова, проведя вниз по экрану (позже мы к этому вернёмся).

Новая Siri удобна тем, что результаты запроса можно использовать в других приложениях.

Я считаю, что разработка новой ненавязчивой Siri откроет широкие возможности для её использования, что сильно выделит голосовой помощник от Apple среди конкурентов благодаря глубокой интеграции в ОС. Вот несколько примеров того, что можно достичь с новой Siri.

И это ещё не всё. С помощью iOS Mogi можно попросить Siri показать страницы из одного приложения, пока вы работаете в другом. Можно вставить фото из переписки с другом в iMessage в email, оставаясь в окне набора сообщения.

Это положит начало настоящей многозадачности, и я думаю, что такое решение больше подходит для мобильных устройств, чем вертикальное разделение экрана на две половины.

«Эй, Сири, я хочу…»

Чувствуешь разочарование, когда после нескольких попыток отправить сообщение с помощью Siri плюешь на всё и начинаешь вводить текст вручную.

В iOS Mogi вместо того чтобы полностью полагаться на Siri, вы можете с её помощью ускорить процесс. Больше никакого блуждания по интерфейсу, просто начните свой запрос со слов «я хочу…», и Siri поможет, не сворачивая приложения, которое вы используете.

Эта функция работает и на экране блокировки.

«Эй, Сири, прокрути вниз немного»

Ненавязчивая Siri открывает новые возможности. Одна из них — Siri actions.

Siri actions даёт возможность заменить сенсорные жесты на голосовые команды. Всё от касания до прокрутки можно сделать, отправив голосовой запрос. Так я могу попросить Siri прокрутить вниз мой список альбомов и открыть “High as Hope” от Florence and the Machine.

Если бы Siri занимала весь экран и не учитывала контекст, совершить эти простые действия было бы невозможно. Теперь же, когда я пишу email, то могу попросить Siri изменить получателя, добавить подпись или даже изменить шрифт.

Я думаю, это незаменимый инструмент для людей с ограниченными возможностями. С Siri actions навигация в ОС стала бы простой как никогда раньше. Даже для людей без ограниченных возможностей новая функция была бы очень полезна: можно управлять телефоном, когда заняты руки, или просто облегчить себе некоторые действия (как в примере выше с написанием email).

Можно зайти ещё дальше с помощью ARKit 2, которая достаточно точно может фиксировать движения глаз (но давайте в рамках этой концепции не будем уходить так далеко).

Я думаю, добавление Siri actions согласуется с изначальной идеей Siri как голосового помощника, который должен помочь пользователю совершать простые действия голосом. Сделать Siri ненавязчивой — лишь шаг вперёд в этом направлении.

Siri actions предоставляет новую возможность: сохранение элементов из одного приложения для использования их в другом. Откройте фотографию и скажите Siri «сохрани это фото», чтобы сохранить его.

Откройте другое приложение и перетащите туда фотографию из уведомления от Siri.

Это работает и при копировании-вставке.

Просто нажмите на скопированный текст, чтобы вставить его в открытое приложение. Можно также перетащить элемент в нужное место.

Вы можете попросить Siri показать все сохранённые элементы с помощью соответствующего запроса.

После использования элементы удаляются из списка.

Для новой Siri на этом всё. А что, если мы применим тот же принцип ненавязчивой многозадачности для других программ? Новые сенсорные жесты и голосовые команды можно использовать где-нибудь ещё. Что это нам даст? Прежде чем развернуть эту мысль, посмотрим, как их можно применить в конкретном приложении, в котором я лично провожу много времени: Apple Maps.

Apple Maps

Прошу не кидать в меня камнями, но мне реально нравится приложение Apple Maps. Хотя оно не всегда точное, особенно здесь, во Франции, Apple Maps восхитительно спроектировано. Разместить навигационную панель внизу экрана, как это было представлено в iOS 10 после редизайна приложения, — блестящая идея. Неудивительно, что подобное решение начало появляться в других приложениях вроде Lyft.

И всё же есть одна вещь, которая раз за разом доставляет неудобство — приложение недостаточно учитывает контекст, особенно это касается систем общественного транспорта.

Если я еду на поезде и пытаюсь построить новый маршрут, Apple Maps не знает, что я в вагоне, и предлагает маршруты, основываясь только на текущем местоположении, в то время как должно учитывать и местоположение, и мою транспортную линию. Часто маршрут начинается там, куда я просто не могу добраться; в этом случае Apple Maps становится бесполезным.

Конечно, должны быть способы, с помощью которых Apple Maps определит, что я еду по конкретной ветке. В Apple Maps есть пути сообщений, возможно, приложение могло бы просто сверять моё местонахождение с маршрутами общественного транспорта. Как только алгоритм определит, что я еду, скажем, по ветке Кэйо в Токио, вот что может произойти.

Всплывающее окно может спросить пользователя, действительно ли тот движется по Кэйо. Его можно закрыть сдвигом вниз или, если вы правда на Кэйо, но едете в другую сторону, можно сдвигать влево или вправо, пока не найдёте своё направление. После подтверждения от пользователя Apple Maps создаст новые маршруты, основываясь на полученной информации.

Маленькая чёрная кнопка с поддержкой 3D Touch в реальном времени отразит ваше местоположение на линейной схеме.

Почему я внезапно заговорил об Apple Maps и как это связано с предыдущей частью статьи? Дело в том, что у iOS мало возможностей держать пользователя в курсе того, что происходит прямо сейчас. Разработчики придумали пару-тройку трюков, но они больше похожи на хаки, о которых я расскажу позже.

Думаю, пользователям было бы интересно отслеживать своё местоположение на маршруте, пока они заняты чем-то другим вроде игры в телефоне или электронной книги, и должна быть возможность быстро вернуться в Apple Maps (или другое приложение для навигации), не задействуя App Switcher или возврат на домашний экран.

Решение проблемы — Live Notifications («живые» уведомления).

Live Notifications или мультизадачность для мобильных устройств

Сначала обратим внимание на то, как iOS пытается показать пользователю, что приложения работают в фоновом режиме.

И на этом всё. Я не включил в список музыкальный плеер, потому что он работает удобно и я не вижу причин что-либо в нём менять.

А как же ситуация, когда к вам едет Uber? Когда ждёшь доставщика еды? Когда видео воспроизводится на Youtube или Netflix? Или когда мы едем в общественном транспорте и хотим отслеживать своё движение по маршруту?

Здорово, что Apple сделали легкодоступными телефонные звонки и маршруты Apple Maps — в строке состояния или на экране блокировки. Тем не менее возможности ограничены несколькими родными приложениями, и ничего нельзя сделать, не открыв одно из них.

В то время как приложения должны быть доступны где угодно и когда угодно, чтобы не приходилось ради них отрываться от других дел, вдобавок некоторые плохо интегрированы в систему и странно отображаются.

Они больше похожи на непродуманное решение, которое скорее «взламывает» систему, чем является полноценной функцией. Для подобных ситуаций нужно найти более элегантное решение, которое будет доступно и для сторонних приложений тоже.

«Живые» уведомления разработаны в качестве такого решения.

Вернёмся к примеру с чтением книги в метро с помощью Apple Book. Вот как можно будет отслеживать своё передвижение по векте.

Чтобы узнать своё местоположение на маршруте, пользователю достаточно немного сдвинуть вниз маленькую панель вверху экрана.

Чтобы открыть центр уведомлений, нужно сдвинуть её дальше.

Эти жесты должны быть вам знакомы. Если вы помните, это те же жесты, что я предложил для управления Siri. Фактически в iOS Mogi Siri — это «живое» уведомление. Так что все представленные ранее жесты подходят и для Live Notifications.

В этом случае пользователь может сдвинуть вниз «живое» уведомление, чтобы посмотреть своё местоположение на карте в реальном времени. Он может взаимодействовать с развёрнутым «живым» уведомлением.

Пользователь может нажать на «живое» уведомление как на обычное уведомление, чтобы открыть соответствующее приложение.

«Живые» уведомления — это естественная эволюция Rich Notifications, представленных в iOS 10. Теперь они похожи на мини-приложения.

Что заставляет «живое» уведомление появиться? Пользователю не нужно давать специальные команды. Приложение само определяет, когда отобразить его, в зависимости от ситуации. Вот что происходит, когда «живое» уведомление активируется.

Приложение сжимается до «живого» уведомления, чтобы известить пользователя, а затем становится маленькой панелью вверху экрана, чтобы не быть назойливым.

Вот несколько примеров того, как приложения, работающие в фоновом режиме, могут быть отражены системой с помощью «живых» уведомлений.

«Живые» уведомления можно также использовать, чтобы быстро чем-то поделиться.

То же самое со скриншотами.

Когда активно сразу несколько «живых» уведомлений, они группируются в стиле iOS 12.

Их порядок легко изменить с помощью перетаскивания, так что вы можете разместить самое важное «живое» уведомление поверх других.

И конечно, «живые» уведомления доступны прямо на экране блокировки, вам будет легко свериться с маршрутом.

На этом всё. iOS Mogi — это третий вариант концепции, которую я начал разрабатывать два года назад (тогда же я начал работать над macOS Newton). В то время она называлась iOS Fuji.

С самого начала я хотел найти элегантный способ привнести в телефоны мультизадачность, ведь разделение экрана на две части никогда ею не было. Хотелось чего-то более мобильного, и я надеюсь, вы посчитаете «живые» уведомления шагом вперёд в этом направлении.