Нейрокомпьютерные интерфейсы для игр: что известно на сегодняшний день

Недавно сооснователь Valve Гейб Ньюэлл (Gabe Newell) заявил, что человечество уже намного ближе к “Матрице”, чем может показаться. Разбираемся, так ли это, и зачем Valve, Facebook и Илон Маск пытаются подключить мозг к компьютеру.

Иллюзия контроля

Нейрокомпьютерный интерфейс (НКИ) или интерфейс «мозг-компьютер» (Brain-computer interface, BCI) – система, созданная для обмена информацией напрямую между мозгом и компьютером. Концепция была описана Джозефом Ликлайдером еще в 1960 году в статье со звучным названием «Симбиоз человека и компьютера» (Man-Computer Symbiosis). Сейчас публикация представляет скорее историческую ценность, а вот активные попытки вступить в такой симбиоз предпринимаются с конца 2000-х годов.

Пожалуй, тогда больше других проявила себя компания NeuroSky, вместе со Square Enix представившая на Tokyo Game Show 2008 игру-доказательство концепта Judecca. В 2009 году NeuroSky даже выпустила коммерческие НКИ-настольные игры, купить которые можно до сих пор, но считывают ли они мозговую активность или только эксплуатируют феномен иллюзии контроля – вопрос открытый. Продукты остальных компаний в основном так и не вышли за пределы конференций, а лидеры игровой индустрии или отмалчивались, или говорили, что не занимаются разработками НКИ.

В 2012 году лаборатория нейрокомпьютерных интерфейсов в Грацком университете Австрии представила НКИ для World of Warcraft. Система работала, но заменить мышь с клавиатурой явно не могла.

Постепенно стало понятно, что революции не произойдет. Об НКИ подзабыли, но ровно до тех пор, пока знаменитый основатель Valve Гейб Ньюэлл (Gabe Newell) не заявил в вышедшем 18 марта 2020 года интервью, что в компании вовсю ведутся нейробиологические исследования, добавив, что мы намного ближе к «Матрице», чем многие думают. Почти одновременно вышел отчет, согласно которому рынок НКИ к 2027 году будет оцениваться в 2,96 млрд долларов.

О чем не сказал Гейб

Год назад сотрудник Valve, экспериментальный психолог доктор Майк Эмбиндер (Dr. Mike Ambinder), рассказал на Game Developers Conference 2019 о развитии и применениях НКИ. По сравнению с интервью Гейба, его выступление мало кто заметил, хотя он рассказал о планах компании намного больше.

В Valve пока не идут по пути «Матрицы», подключаясь к мозгу напрямую, а используют специальный «шлем» для электроэнцефалографии (ЭЭГ). У этого подхода есть недостатки — а именно шумы и низкая пропускная способность, но Майк считает, что возможности метода еще не исчерпаны. Уже сейчас он позволяет оценить:

увлечен игрок событиями на экране или вот-вот умрет от скуки;напряжен во время сложной миссии или расслаблен и уверен в себе;способен ли концентрироваться и усваивать новую информацию. Все-таки игровой процесс предполагает обучение игрока – управлению, специфике геймплея и т.п. вещам;моторные сигналы – какими движениями и как интенсивно игрок реагирует на те или иные раздражители в игре.

И многие другие, более тонкие параметры. Активно развивающиеся алгоритмы машинного обучения постепенно дают извлечь из данных ЭЭГ все больше.

Не спешим выбрасывать клавиатуру

По словам Майка, сейчас НКИ в первую очередь позволяет получить от игрока новую обратную связь, способную улучшить качество игр. Майк считает, что технологии пройдут три стадии развития.

Каждый интерфейс является интерфейсом «мозг-компьютер». Отличается только промежуточное аппаратное звено, с помощью которого мы переводим наши намерения в нечто, пригодное для использования

доктор Майк Эмбиндер (Dr. Mike Ambinder). Экспериментальный психолог Valve.

В ближайшей перспективе НКИ найдут применение в разработке игр и сделают эффективнее процесс тестирования. Сейчас обычный метод определения эмоций тестера – опрос. При этом провести его можно только после прохождения игрового уровня, когда какие-то впечатления уже подзабыты, сглажены или переосмыслены. Считывание реакций мозга на внутриигровой стимул в реальном времени гораздо объективнее и поможет лучше проектировать уровни, точнее попадая в запланированные эмоции.

Постепенно НКИ станут доступнее и выйдут за пределы студий. На втором этапе доступ к данным получит уже сама игра. Это, по мнению Майка, полностью изменит понятие адаптивного геймплея. Традиционные уровни сложности устареют – игровой мир будет подстраиваться под конкретного игрока, определяя, какие враги вызывают у него больше проблем, хочет ли он расслабиться после тяжелого рабочего дня или скучает в ожидании сложной битвы.

В конечном итоге персонажи игры получат возможность реагировать на настрой игрока и его эмоциональное состояние, принимая решения на основе этих параметров.

Представьте шпионскую игру, в которой вам действительно нужно быть шпионом и обманывать с помощью голоса, слов, поведения и мыслей. Или RPG, в которой действительно нужно отыгрывать роль

Майк Эмбиндер (Mike Ambinder). Экспериментальный психолог Valve

«Истинный НКИ» – замена стандартных, «физических» интерфейсов управления станет последним шагом. Это решит проблемы современных интерфейсов: большое время реакции, необходимость запоминать клавиши, невозможность нажать сразу множество клавиш. Но добавит новые: например, отсутствие тактильной обратной связи. Промахнувшись мимо клавиши «прыжок», понять, почему персонаж не подпрыгнул, не составляет труда. С отданной мысленно командой та же ситуация уже не так однозначна.

Конечный этап развития НКИ – создание той самой «Матрицы»: устройств вывода данных напрямую в мозг, минуя мониторы, VR-шлемы и аудиосистемы. По словам Гейба, теоретические исследования уже идут и приносят много сюрпризов: внешне «сложные» задачи – «подключение» к моторной коре – оказываются относительно простыми, в то время как другие – например, имитация ощущения холода – невероятно сложны.

Оказывается, что у мозга есть очень хорошие встроенные интерфейсы для одних вещей, и очень плохие – для других

Гейб Ньюэлл (Gabe Newell). Один из основателей и генеральный директор Valve

Мозговые импланты. Как тебе такое, Гейб?

Многое из того, что описал Майк, можно реализовать с помощью ЭЭГ. Но он допускает, что когда-нибудь импланты станут такой же обыденностью, как и LASIK – операция по лазерной коррекции зрения. Майк называет эту точку «LASIK-порог». Преодолеть его собирается Илон Маск, чья компания Neuralink уже представила имплант N1, пообещав начать клинические испытания уже в 2020 году.

По словам сотрудника Neuralink, профессора Калифорнийского университета в Сан-Франциско Филипа Сейбса (Philip Sabes), основная цель проекта – помощь парализованным людям. В том числе – вернув возможность заниматься спортом хотя бы виртуально, с помощью игр.

Сам Илон, как и всегда, формулирует цели еще смелее: он хочет создать “полномозговой НКИ”, обеспечив тот самый симбиоз человека с искусственным интеллектом. При этом бизнесмен признает, что даже для Neuralink это пока фантастика.

Ближе к реальности

В ноябре 2019 года Facebook приобрел компанию CTRL-labs. Возможно, CTRL-labs привлекла внимание тем, что добраться до главной цели любого НКИ – мозга – они планируют совсем не через отверстия в черепе. И этот подход выглядит реалистичнее остальных.

Директор CTRL-labs Томас Реардон (Thomas Reardon) объясняет, что имплант от Neuralink хорош для парализованных пациентов, но у здорового человека уже есть готовый нейроинтерфейс – нервные окончания и соединенные с ними мышцы. Неинвазивные методы тут подходят идеально: генерируемая мышцами активность в разы сильнее сигнала от любой структуры мозга. Сложнейшие алгоритмы расшифровки ЭЭГ практически не требуются – основная работа уже проделана телом человека. Поэтому представленный в 2018 году CTRL-kit – это не «шлем», а браслет для электромиографии.

При этом CTRL-kit можно считать полноценным интерфейсом «мозг-компьютер», считывающим активность нейронов. Чтобы доказать это, к браслету подключили динозаврика из Google Chrome.

На первом этапе обучения игрок просто нажимает кнопку. После – имитирует нажатие с помощью мышц – сначала с трудом, затем – практически рефлекторно. И тут происходит самое интересное: мышцы исключаются из цепочки.

Мозг постоянно пытается найти ответ на вопрос: “Какое минимальное действие я должен совершить, чтобы получить ответную реакцию?”. Этот процесс невозможно остановить.

Томас Реардон (Thomas Reardon). CTRL-labs CEO.

В какой-то момент ответ находится: сокращать мышцы вообще нет необходимости, достаточно подумать о движении – этого импульса хватит, чтобы CTRL-kit среагировал – динозаврик прыгнет.

По словам Томаса, интерфейс не просто работает – он помогает воссоздать цепочки, в которые объединены нейроны. Это делает ближе главную цель нейробиологии – расшифровку того, как работает мозг и создание НКИ без посредничества мышц и периферийных нейронов.

Что будет после

Научная фантастика поставила много связанных с НКИ этических вопросов, но пост-НКИ мир наверняка поставит еще больше.

Гейб уверен, что технологии найдут применение во всех отраслях индустрии развлечений, но скептически относится к прогнозам. По его словам, представить сейчас пост-НКИ мир – все равно что пытаться объяснить, что такое Интернет, человеку, который никогда о нем не слышал. «Круто, там можно искать рецепты!» – скажет такой человек, но предугадать появление, например, Uber он не сможет.

Тем не менее, все разработчики говорят о том, что НКИ станут логическим развитием технологий виртуальной реальности. Заставить игрока надеть «шлем» – непростая задача, но добавив к VR-хэдсету НКИ-электроды, можно кардинально изменить ощущения от игры и сделать устройство привлекательным.

Виртуальная реальность упоминается в выступлениях сотрудников всех компаний. А вот о чем никто не сказал, так это о том, сколько осталось ждать. Ни Майк Эмбиндер, ни Гейб Ньюэлл не назвали дату выхода Half-Life 3 на НКИ. Филип Сейбс и Илон Маск хоть и упоминают игры, но инвазивный имплант вряд ли сразу заменит геймпад. Конкретные сроки называет только Томас Реардон – и, учитывая реалистичный подход CTRL-labs, не верить ему оснований нет. По его словам, первые массовые НКИ не появятся на рынке до 2024 года.

Дополнительные материалы:

Для тех, кому не терпится опробовать НКИ, мы подобрали список ссылок с теорией, а также с уже продающимися или готовящимися к выходу устройствами и приложениями.

История и будущее BCI:

• https://www.zdnet.com/article/what-is-bci-everything-you-need-to-know-about-brain-computer-interfaces-and-the-future-of-mind-reading-computers/ – ответы на основные вопросы об НКИ.

• https://towardsdatascience.com/a-beginners-guide-to-brain-computer-interface-and-convolutional-neural-networks-9f35bd4af948 – «руководство для новичков» по НКИ, содержащее определения, краткую историю направления и принципы работы.

• https://www.mddionline.com/history-and-future-bci – Основные события истории НКИ на схеме.

• https://www.roadtovr.com/future-brain-computer-interface-ar-vr/ – немного о нынешнем состоянии технологий и будущих применениях НКИ.

Что уже создано:

• https://openbci.com/ – крупное сообщество НКИ-энтузиастов, выпускающих open-source хэдсеты и софт. Интересно богатым ассортиментом комплектующих и открытого кода для тех, кто хочет попробовать себя в разработке.

• https://store.neurosky.com/ – Neurosky, авторы упомянутых в статье MindFlex и StarWars Force Trainer, предлагают большой выбор готового софта, который, судя по отзывам, действительно работает.

• https://www.emotiv.com/ – Наряду с Neurosky, одна из старейших компаний, создающих доступные ЭЭГ-хэдсеты. Разработанный на данный момент софт скорее заточен под «улучшение состояния и производительности» и тренировки концентрации. Есть красивый визуализатор мозговой активности в реальном времени.

• https://www.brainco.tech/ – Гарвардский стартап BrainCo, чьи хэдсеты заточены под развитие способности фокусироваться. Чтобы достичь цели было проще, процесс основан на простых играх.

• https://www.next-mind.com/ - Стартап NextMind, интересный в первую очередь тем, что их готовящийся к выпуску девкит – наиболее компактное и мобильное ЭЭГ-устройство. Также разработчики обещают совместимость с играми.

Источник: m.vk.com

Комментарии: