Смешанная реальность — будущее вычислительной техники?

Алекс Кипман хорошо знает, что такое аппаратное обеспечение. Присоединившись к Microsoft 16 лет назад, он был главным изобретателем более сотни патентов, включая новаторскую технологию обнаружения движения XboxKinect, которая проложила путь к некоторым из функций в его последнем творении — голографической 3D-гарнитуре, названной HoloLens.

Но сегодня, сидя в своем офисе в штаб-квартире Microsoft в Редмонде, Вашингтон, Кипман не говорит об аппаратном обеспечении. Он обсуждает отношения между людьми и машинами с более широкой философской точки зрения. Независимо от того, взаимодействуем ли мы с машинами через экраны или вещи, которые сидят у нас на головах, для него все это лишь «момент времени».

Родившийся в Бразилии Кипман, являющийся техническим специалистом в WindowsandDevicesGroup при Microsoft, с энтузиазмом объясняет, что ключевым преимуществом технологии является ее способность замещать время и пространство. Он приводит в пример «смешанную реальность» (MR, mixedreality), термин Microsoft, которым обозначают смесь реального мира с генерируемой компьютером графикой. По мнению Кипмана, однажды она незримо объединит дополненную и виртуальную реальности. Он говорит, что среди самых поразительных особенной MR — потенциал развязать «сверхсилы замещения» в реальном мире.

Люди придают особую ценность чувству, которое вы испытываете, когда физически разделяете пространство с другим человеком. Именно поэтому Элис Бонасио из FastCompany решила взять интервью у Кипмана лицом к лицу. «Но если бы вы имели возможность осуществить такого рода взаимодействие, не тратя время на переезд, — говорит Кипман, — жизнь была бы намного интереснее». Далее от первого лица.

«Моя дочь может общаться со своими братьями в Бразилии каждые выходные, а моим сотрудникам не нужно путешествовать по миру, чтобы делать свою работу», продолжает он. «С появлением искусственного интеллекта мы могли бы продолжать беседу, но меня уже здесь не было бы. Однажды и вы, и я будем разговаривать, вы будете на Марсе, а я уже буду сто лет как мертв. Наша работа техников — ускорить наступление будущего и постоянно задаваться вопросом, как это сделать».

Microsoft делает ставку на смешанную реальность, чтобы помочь нам попасть в будущее. И здесь мы снова возвращаемся к аппаратному обеспечению. Доступность нужного устройства по нужной цене будет фактором, который определит, примут ли потребители смешанную реальность (хотя одни устройства сами по себе вряд ли начнут революцию MR, как показал пример VR). Хотя HoloLens является единственным автономным голографическим компьютером на рынке (в отличие от OculusRift или HTCVive, если не нужно прикреплять кабелями к внешнему устройству), умные очки стоимостью 3000 долларов служат больше доказательством концепции, нежели потребительским продуктом.

Теперь Microsoft хочет это изменить. Этой осенью компания запускает гарнитуру Windows Mixed Reality Headsets, которая станет первой серьезной попыткой продать концепт широкой публике. Хотя это устройство пока все еще ближе к идеальному гибриду дополненной и виртуальной реальности, в нем уже воплощены главные фишки HoloLens — вроде продвинутых возможностей отслеживания и картирования — и предложена более доступная цена в 300-500 долларов. Гарнитура будет доступна в разных формах от разных партнеров по аппаратному обеспечению, включая Dell, HP и Samsung, и позволит пользователям создавать трехмерные пространства, которые можно персонализировать за счет медиа, приложений, окон браузера и другого.

Как считает Microsoft, внедрение платформы, позволяющей любому человеку в целом создавать свой собственный цифровой мир, — это первый шаг в достижении того самого прыжка в мир завтрашнего дня. «Если вы верите, как мы, что смешанная реальность — это неизбежная следующая на очереди тенденция в вычислительной технике, придется подключить производительность, творчество, образование и целый новый спектр развлечений, от казуальных до хардкорных игр», говорит Кипман.

Совершенствуя смешанную реальность

Кипман не единственный, кто оптимистично относится к смешанной реальности. Калифорнийский стартап Avegant работает над платформой, которая представляет подробные трехмерные изображения, наслаивая много фокальных плоскостей, которые компания называет технологией «светового поля». «Применения бесконечны», говорит CEO Avegant Йорг Тьюис. «От дизайнеров и инженеров, которые непосредственно манипулируют 3D-моделями при помощи своих рук, до профессоров медицины, иллюстрирующих различные болезни сердца на примере практически живой модели своим студентам. В домашних условиях пользователей могут окружить виртуальные полки с их любимыми продуктами. Смешанная реальность позволяет людям напрямую взаимодействовать со своими идеями вместо экранов и клавиатур».

Чтобы все это делать, устройства смешанной реальности должны поддерживать виртуальные изображения, которые будут казаться неотличимыми от реального мира и цельно с ним взаимодействовать. По словам профессора Грегори Уэлча, компьютерного ученого из Университета Центральной Флориды, большинство технологий, разработанных к нынешнему моменту, пока не достигли такого равновесия. «Смешанная реальность особенно трудна, потому что нет ни скрывающего несовершенства виртуального, ни поразительной чистоты реального».

Вместе с коллегами он выяснил, что в некоторых случаях относительно широкое поле зрения реального мира, которое обеспечивает HoloLens, может вредить важному чувству присутствия. В то время как здоровый человек видит на 210 градусов, дисплей HoloLens увеличивает центр вашего поля зрения на 30 градусов или около того. В экспериментах, которые проводил Уэлч и его команда, разрыв между реальным и расширенным ландшафтом уменьшал ощущение погружения и присутствия.

«Это означает, что если вы смотрите на виртуального человека перед собой (как это было в нашем эксперименте), вы увидите только часть его, плавающую в пространстве перед вами», говорит Уэлч. «Вам нужно будет двигать головой вверх и вниз, чтобы «нарисовать» восприятие его, так как вы не можете увидеть всего человека сразу, если не посмотрите на него издалека (он будет казаться меньше). Проблема в том, что ваш мозг постоянно видит «обычный» мир вокруг себя, и это «перезаписывает» множество типов восприятия, которые вы могли бы в противном случае иметь».

Далее Уэлч объясняет, что в демонстрациях, которые мы видим сегодня с HoloLens или Apple ARKit, например, виртуальные объекты могут быть зафиксированы на плоской поверхности, но помимо базовой формы и визуального внешнего вида программное обеспечение обычно не распознает многие важные физические характеристики объекта, такие как вес, центр масс и поведение, либо поверхность, на которой он находится, — не говоря уже о какой-либо активности в реальном мире, которая происходит вокруг объектов.

«Если я случайно сброшу пару кубиков с виртуального стола, они не «упадут», достигнув края, и не отскочат, как следовало бы ожидать, исходя из их типа и материала пола», объясняет он.

В работе, которую Уэлч написал в соавторстве с профессором Джереми Бэйлинсоном, директором Virtual Human Interaction Lab (VHIL) при Стэнфордском университете, они изложили некоторые результаты своих исследований, которые показывают, что виртуальное содержимое имеет гораздо более высокую ценность, когда демонстрирует поведение, которое мы ожидаем от физических объектов в реальном мире.

«В своей лаборатории мы начинаем использовать HoloLens, чтобы понять взаимосвязь между опытом дополненной реальности и последующим психологическим отношением относительно самого физического пространства», говорит Бэйлинсон. К примеру, он объясняет, что его эксперименты показывают, что виртуальные люди, которые «проходят словно призраки» через реальные объекты, а не обходят их или пытаются избежать, воспринимаются как менее «реальные», чем те, которые подчиняются законам физики.

Достижения в смешанной реальности, скорее всего, приведут к тому, что гарнитуры станут доступнее и легче, но также возможно, что по крайней мере некоторые из наших будущих взаимодействий с этой технологией не будут включать носимую электронику вовсе. «Пространственная дополненная реальность» (SAR), например, разработанная Уэлчем много лет назад, позволяет использовать проекторы для изменения внешнего вида физических объектов вокруг вас, таких как материал стола или цвет кушетки — без очков.

«Конечно, SAR не будет работать во всех ситуациях, но когда будет, это будет убедительно и легко», говорит Уэлч. «Если что-то волшебное в том, когда мир вокруг вас меняется, а вы не имеете к этому отношения — ни гарнитуры, ни телефона, ничего. Вы просто существуете в физическом мире, который меняется практически вокруг вас».

Виртуальный инструмент для совместной работы в реальном мире

Нонни де ла Пенья, основатель и главный исполнительный директор компании Emblematic, помогла поставить использование виртуальной реальности в качестве средства отчетности и для рассказа историй. Ее называют «крестной матерью виртуальной реальности», и она считает, что технологии погружения ближе всех могут представить вид аудитории — то есть поместить ее на место рассказчика. Она считает, что у HoloLens есть потенциал увеличить качество и глубину нашего понимания мира, частично благодаря методу объемного захвата, который создает трехмерную модель объектов за счет множества камер и зеленого экрана. «Microsoft начала предлагать реализм высокого уровня, используя объемный захват, и его тут же подхватили журналисты», говорит де ла Пенья. Собственное творение Emblematic, After Solitary, это удостоенный наград документальный фильм, созданный в партнерстве с PBS и KnightFoundation, в работе над которым использовалась эта техника, чтобы передать суть психологической травмы от длительного тюремного заключения.

Самое главное изменение, которое обещает смешанная реальность, состоит в том, что контент не будет привязан к какому-либо определенному устройству. MR использует строительные блоки (объекты реального мира, либо созданные компьютером) для создания сред, в которые входят люди для дальнейшего взаимодействия. В таком контексте устройства становятся окном, которое позволяет вам заглядывать в эти миры и получать доступ к ним, а не репозиторием, в котором хранится ваш персональный контент (вроде вашего смартфона).

Кипман отмечает, что в этих общих реальных/виртуальных средах наши отношения с вычислительной техникой меняются от личных к совместных — от устройств, которые сохраняют ваш собственный индивидуальный контент, к общим пространствам для творчества, опосредованным технологиями. Кипман думает, что это влечет глубокие последствия для того, как мы будем разрабатывать приложения в будущем. Если, например, вы создаете виртуальную статую и помещаете ее в виде голограммы поверх стола в своей гостиной, другой человек с устройством смешанной реальности увидит вашу статую, когда войдет в комнату, и переместит ее, если захочет. Потому что содержимое хранится не в вашем устройстве, а в самой среде, определяя объекты (как реальные, так и виртуальные), ее населяющие.

«Эти концепции требуют переосмысления операционной системы в контексте смешанной реальности», говорит Кипман. «Вы должны построить фундамент, который переходит из кремния в облачную архитектуру, чтобы осознать собственный переход от персональных вычислений к совместным. На это потребуется время», улыбается он.