Перевод статьи с сайта Nature от 20 апреля 2022

Импланты становятся все более сложными и вызывают коммерческий интерес. Джеймс Джонсон надеется снова водить машину. Но если он это сделает, то только используя только силу мысли.

В марте 2017 года Джонсон сломал шею в результате аварии на картинге, в результате чего он был почти полностью парализован ниже плеч. Он понимал свою новую реальность лучше, чем большинство. На протяжении десятилетий он ухаживал за парализованными людьми. «У меня была глубокая депрессия, — говорит он. «Я думал, что когда это случилось со мной, я ничего не смогу с этим сделать или дать что-то миру».

Но затем реабилитационная группа Джонсона познакомила его с исследователями из близлежащего Калифорнийского технологического института в Пасадене, которые пригласили его присоединиться к клиническим испытаниям интерфейса мозг-компьютер (BCI). Сначала это потребовало проведения нейрохирургической операции по имплантации двух массивов электродов в кору его мозга. Это электроды, считывающие возбуждение нейронов в его мозгу, которые исследователи с помощью алгоритмов используют для расшифровки его мыслей и намерений. Затем система использует мозговую активность Джонсона для управления компьютерными приложениями или для перемещения протеза. Но на освоения этого нужны годы и сотни интенсивных тренировок. «Я нисколько не колебался, — говорит Джонсон.

В первый раз, когда он использовал свой BCI, имплантированный в ноябре 2018 года, Джонсон перемещал курсор по экрану компьютера. «Это было похоже на Матрицу», — говорит он. «Мы подключились к компьютеру и, о чудо, я смог двигать курсор, просто думая».
С тех пор Джонсон использовал BCI для управления манипулятором, работы в программе Photoshop, игр в жанре "shoot 'em up"(примитивные двумерные шутеры с видом сверху, чаще в космическом сеттинге, например Galaga - прим. перев.), а теперь и для вождения автомобиля, смоделированного в виртуальной среде, изменяя скорость, управляя и реагируя на опасности. «Я всегда поражаюсь тому, что мы можем сделать, — говорит он, — и это чертовски круто».

Джонсон является одним из примерно 35 человек, которым имплантировали BCI в мозг на длительный срок. Подобные исследования проводят всего около дюжины лабораторий, но их число растет. И за последние пять лет диапазон навыков, которые эти устройства могут восстанавливать, значительно расширился. Только в прошлом году ученые описали участника исследования, использующего роботизированную руку, отправляющую сенсорную обратную связь непосредственно в его мозг, протез речи для человека, потерявшего способность говорить в результате инсульта и человека, способного печатать с рекордной скоростью, воображая себя пишущим от руки.

До сих пор подавляющее большинство имплантатов для долгосрочной записи отдельных нейронов производилось одной компанией: Blackrock Neurotech, разработчиком медицинского оборудования из Солт-Лейк-Сити, штат Юта. Но за последние семь лет коммерческий интерес к BCI резко возрос. В частности, в 2016 году предприниматель Илон Маск запустил проект Neuralink в Сан-Франциско, штат Калифорния, с целью соединения людей и компьютеров. Компания привлекла 363 миллиона долларов США. В прошлом году Blackrock Neurotech и несколько других новых BCI-компаний также получили крупную финансовую поддержку.

Однако вывод BCI на рынок повлечет за собой преобразование индивидуальной технологии, проверенной на небольшом количестве людей, в продукт, который можно производить, внедрять и использовать в больших масштабах. Крупные испытания должны будут показать, что BCI могут работать в условиях, не связанных с исследованиями и явно улучшать повседневную жизнь пользователей, а главное продаваться по рыночным ценам. Сроки достижения всего этого неясны, но комьюнити настроено оптимистично. «Тысячи лет мы искали способ излечить людей, страдающих параличом», — говорит Мэтт Энгл, основатель и исполнительный директор нейротехнологической компании Paradromics в Остине, штат Техас. «Сейчас мы фактически находимся на пороге появления технологий, которые мы можем использовать для этих целей».

Эволюция интерфейсов

В июне 2004 года исследователи установили массив электродов в моторную кору головного мозга человека, парализованного после ножевого ранения. Он был первым человеком, получившим долгосрочный BCI-имплант. Как и у большинства людей с параличом, его сознание не было нарушено, он мог вообразить движение, но потерял нервные связи между моторной корой и мышцами. После десятилетий работы во многих лабораториях и испытаний на обезьянах исследователи научились расшифровывать движения животных на основе записей активности моторной коры в реальном времени. Теперь они надеялись вывести воображаемые движения человека по активности мозга в той же области.

В 2006 году в знаменательном документе описывалось, как человек научился перемещать курсор по экрану компьютера, управлять телевизором и использовать роботизированные руки и кисти, просто думая. Исследование проводилось совместно с Ли Гохбергом, нейробиологом и неврологом интенсивной терапии из Университета Брауна в Провиденсе, Род-Айленд, и Массачусетской больницы общего профиля в Бостоне. Это было первое из серии множества испытаний под названием BrainGate, которые продолжаются и сегодня.

«Это была очень простая, рудиментарная демонстрация, — говорит Гохберг. «Движения были медленными или неточными, или и то, и другое. Но это продемонстрировало, что можно записывать информацию с коры головного мозга человека, который не может двигаться и позволять этому человеку управлять внешним устройством».

Сегодняшние пользователи BCI имеют гораздо более точный контроль и доступ к более широкому спектру навыков. Отчасти это связано с тем, что исследователи начали имплантировать несколько BCI в разные области мозга пользователя и разработали новые способы идентификации полезных сигналов. Но Гохберг говорит, что наибольший импульс дало машинное обучение, которое улучшило способность расшифровывать нейронную активность. Вместо того, чтобы пытаться понять, что означают шаблоны действий, машинное обучение просто идентифицирует шаблоны и связывает их с намерениями пользователя.

«У нас есть нейронная информация, мы знаем, что пытается сделать человек, генерирующий нейронные данные и мы просим алгоритмы создать путь между ними», — говорит Гохберг. «Оказывается, это удивительно эффективная техника».

Двигательная независимость

На вопрос, чего они хотят от вспомогательных нейротехнологий, люди с параличом чаще всего отвечают «независимость». Для людей, которые не могут двигать конечностями, это обычно означает восстановление движения.

Один из подходов заключается в имплантации электродов, которые напрямую стимулируют мышцы собственных конечностей человека, а BCI непосредственно контролирует их. «Если вы сможете зафиксировать нативные корковые сигналы, связанные с управлением движениями рук, вы сможете обойти повреждение спинного мозга и перейти непосредственно от головного мозга к периферии», — говорит Болу Аджибой, нейробиолог из Университета Кейс Вестерн Резерв в Кливленде, штат Огайо.

В 2017 году Аджибой и его коллеги описали участника, который использовал эту систему для выполнения сложных движений руками, в том числе для того, чтобы выпить чашку кофе и поесть. «Когда он впервые начал исследование, — говорит Аджибой, — ему приходилось очень много думать о том, как его рука перемещается из точки А в точку Б. Но по мере того, как он тренировался, он мог просто думать о движении руки, и она двигалась.” Также участник смог снова ощутить свою руку как часть тела (мне так толком и не удалось понять суть этой фразы, скорее всего имелся в виду психологический эффект, потому что ниже разработчик говорит, что осязание именно в этом исследовании еще не достигнуто - прим. перев.).

Аджибой теперь расширяет репертуар командных сигналов, которые его система может декодировать, например, для силы захвата. Он также хочет дать пользователям BCI возможность осязания — цель, которую преследуют несколько лабораторий.

В 2015 году команда под руководством нейробиолога Роберта Гонта из Университета Питтсбурга в Пенсильвании сообщила об имплантации массива электродов в область соматосенсорной коры человека в области рук, где обрабатывается сенсорная информация. Когда они использовали электроды для стимуляции нейронов, человек чувствовал что-то похожее на прикосновение.

Затем Гонт объединил усилия с коллегой из Питтсбурга Дженнифер Коллинджер, нейробиологом, продвигающей идею управления роботизированными руками с помощью BCI. Вместе они создали роботизированную руку с датчиками давления, встроенными в кончики ее пальцев, которые подключили к электродам, имплантированным в соматосенсорную кору, чтобы создать синтетическое осязание. Это было не совсем естественное чувство — иногда это было похоже на давление или покалывание, иногда это было больше похоже на жужжание, объясняет Гонт. Тем не менее, тактильная обратная связь сделала протез более естественным в использовании, а время, необходимое для поднятия объекта, сократилось вдвое, с примерно 20 секунд до 10.

Имплантация массивов в области мозга, играющие разные роли, может добавить нюансов движениям. Нейробиолог Ричард Андерсен, возглавляющий исследование в Калифорнийском технологическом институте, в котором участвует Джонсон, пытается расшифровать более абстрактные цели пользователей, подключаясь к задней теменной коре, которая формирует намерение или план движения. То есть она может кодировать мысль «Я хочу пить», тогда как моторная кора направляет руку к кофе, а затем подносит кофе ко рту.

Группа Андерсена изучает, как этот двойной ввод помогает производительности BCI, противопоставляя использование двух областей коры по отдельности или вместе. Неопубликованные результаты показывают, что намерения Джонсона могут быть расшифрованы в задней теменной коре быстрее, «в соответствии с кодированием цели движения», — говорит Тайсон Афлало, старший научный сотрудник лаборатории Андерсена. Активность моторной коры, напротив, продолжается на протяжении всего движения, говорит он, «делая траекторию менее дрожащей».

Этот новый тип нейронного ввода помогает Джонсону и другим пионерам расширить свои возможности. Джонсон использует симулятор вождения, а другой участник может играть на виртуальном пианино, используя свой BCI.

Часть 1: https://vk.com/wall-143694103_2809

Превращение движения в мысль

«Одно из самых разрушительных последствий, связанных с черепно-мозговыми травмами это потеря способности общаться», — говорит Эдвард Чанг, нейрохирург и нейробиолог из Калифорнийского университета в Сан-Франциско.

В ранних работах с BCI участники могли перемещать курсор по экрану компьютера, представляя, как движется их рука, а затем воображая, как они хватаются за буквы, чтобы «нажимать» - один из способов общения. Но совсем недавно Чанг и другие добились более быстрых результатов, ориентируясь на движения, которые люди естественным образом используют для письма.

Эталон печати с помощью управления курсором — примерно 40 символов в минуту, был установлен в 2017 году командой под руководством Кришны Шеноя, нейробиолога из Стэнфордского университета в Калифорнии.

Затем, в прошлом году, эта группа сообщила о подходе, который позволил участнику исследования Деннису Дегрею, который может говорить, но парализован ниже шеи, удвоить темп.

Коллега Шеноя Фрэнк Уиллетт предложил Дегрею представить процесс письма от руки, в то время как они записывали сигналы с его моторной коры. Система иногда затруднялась разобрать сигналы, относящиеся к буквам, написанным похожим образом, например, r, n и h, но в целом она могла легко различать буквы. Алгоритмы декодирования были точны на 95% на исходном уровне, но после автокоррекции с использованием статистических языковых моделей, похожих на интеллектуальный ввод в смартфонах, точность подскочила до 99%.

«Вы можете декодировать очень быстрые, четкие движения, — говорит Шеной, — и вы можете делать это со скоростью 90 символов в минуту».

Дегрей имеет функциональный BCI в мозгу уже почти 6 лет и является ветераном 18 исследований группы Шеноя. Он говорит, что удивительно, какими легкими становятся задачи. Он сравнивает этот процесс с обучением плаванию, говоря: «Сначала ты много мечешься, но вдруг все становится понятным».

Подход Чанга к восстановлению общения сосредоточен на разговоре, а не на письме, хотя и с использованием аналогичного принципа. Точно так же, как письмо состоит из отдельных букв, речь состоит из отдельных единиц, называемых фонемами или отдельными звуками. В английском языке около 50 фонем, каждая из которых создается стереотипным движением голосового тракта, языка и губ.

Группа Чанга сначала работала над изучением части мозга, которая генерирует фонемы и, таким образом, речь — нечетко определенной области, называемой дорсальной корой гортани. Затем исследователи применили эти идеи для создания системы декодирования речи, которая отображала предполагаемую речь пользователя в виде текста на экране. В прошлом году они сообщили , что это устройство позволило человеку, потерявшему способность говорить из-за инсульта ствола мозга, общаться, используя заранее выбранный словарный запас из 50 слов со скоростью 15 слов в минуту. «Самое важное, что мы узнали, - говорит Чанг, - это больше не теория; действительно возможно декодировать целые слова».

В отличие от других громких прорывов в области BCI, Чанг не записывает с отдельных нейронов. Вместо этого он использует электроды, размещенные на поверхности коры, которые обнаруживают усредненную активность популяций нейронов. Сигналы не такие точные, как сигналы от электродов, имплантированных в кору, но этот подход менее инвазивен.

Наиболее глубокая потеря общения происходит у людей в полностью запертом состоянии, которые остаются в сознании, но не могут говорить или двигаться. В марте группа, включающая нейробиолога Уджвала Чаудхари и других специалистов из Тюбингенского университета в Германии, сообщила о возобновлении общения с мужчиной, страдающим боковым амиотрофическим склерозом (БАС, или заболеванием двигательных нейронов). Раньше мужчина полагался на движения глаз для общения, но постепенно потерял способность двигать и глазами.

Команда исследователей получила согласие семьи мужчины на имплантацию BCI и попыталась попросить его представить движения, чтобы использовать его мозговую активность для выбора букв на экране. Когда это не удалось, они попытались воспроизвести звук, совпадающий с его мозговой активностью - более высокий тон для большей активности, более низкий для меньшей - и научили его модулировать свою нервную активность, чтобы повысить высоту тона, чтобы сигнализировать «да», и чтобы понизить для «нет». Такая способность позволила ему выбирать примерно по букве каждую минуту.

Этот метод отличается от описанного в статье, опубликованной в 2017 году, в которой Чаудхари и его коллеги использовали неинвазивный метод для чтения мозговой активности. Результаты исследования оказались сомнительными и документ был отозван, но Чаудхари все равно поддерживает эту идею.

«Эти исследования показывают, что сфера быстро развивается», - говорит Эми Орсборн, исследующая имплантацию BCI у нечеловеческих приматов в Вашингтонском университете в Сиэтле. «Был заметный всплеск как числа клинических исследований, так и прорывов, которые они совершают в клинических испытаниях», — говорит она. «Вместе с этим растет и промышленный интерес».

Из лаборатории на рынок

Хотя эти достижения и привлекли внимание средств массовой информации и инвесторов, область еще далека от серьезного улучшения повседневной жизни людей, которые потеряли способность двигаться или говорить. В настоящее время участники исследований используют BCI в рамках коротких интенсивных сеансов; почти все они должны быть физически подключены к группе компьютеров и контролироваться группой ученых, постоянно работающих над оттачиванием и повторной калибровкой декодеров и связанного с ними программного обеспечения. «Я хочу, — говорит Хохберг, выступая в качестве невролога интенсивной терапии, — чтоб это было доступное устройство, которое может прописать врач, готовое к использованию и быстрое в освоении». Кроме того, такие устройства в идеале должны служить пользователям всю жизнь.

Многие ведущие ученые в настоящее время сотрудничают с компаниями для разработки рыночных устройств. Чаудхари стал соучредителем некоммерческой компании ALS Voice в Тюбингене для разработки нейротехнологий для людей, находящихся в полностью запертом состоянии.

Существующие устройства Blackrock Neurotech были основой клинических исследований в течение 18 лет, и, по словам председателя компании Флориана Солцбахера, компания хочет выпустить на рынок еще одну систему BCI в течение года. В ноябре прошлого года компания подошла к этому на шаг ближе, когда Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), регулирующее медицинские устройства, поставило продукты компании на ускоренный процесс проверки, чтобы облегчить их коммерческую разработку.

Этот возможный первый массовый продукт будет использовать четыре имплантированных массива и подключаться через провода к миниатюрному устройству, которое, как надеется Солцбахер, покажет, как можно улучшить жизнь людей. «Мы не говорим об улучшении качества жизни на 5, 10 или 30%, — говорит он. «Но люди смогут делать то, чего раньше не могли».

Blackrock Neurotech также разрабатывает полностью имплантируемый беспроводной BCI, который будет проще в использовании и избавит пользователя от необходимости иметь порт в черепе. Neuralink и Paradromics с самого начала стремились иметь эти функции в разрабатываемых ими устройствах.

Эти две компании также стремятся увеличить пропускную способность сигнала, что должно повысить производительность устройства, за счет увеличения количества записываемых нейронов. Интерфейс Paradromics, который в настоящее время тестируется на овцах, имеет 1600 каналов, разделенных на 4 модуля.

В системе Neuralink используются очень тонкие гибкие электроды, называемые нитями, которые предназначены для того, чтобы сгибаться вместе с мозгом и снижать иммунные реакции, говорит Шеной, консультант и советник компании. Цель состоит в том, чтобы сделать устройство более долговечным, а записи более стабильными. Neuralink не публиковала никаких рецензируемых статей, но в 2021 году в их блоге сообщалось об успешной имплантации нитей в мозг обезьяны для записи на 1024 каналах. Ученые хотят, чтобы технология была более всесторонне протестирована, но Neuralink до сих пор тестировала свою систему только на животных. Но, по словам Аджибойе, «если то, что они заявляют, правда, это изменит правила игры».

Только еще одна компания, помимо Blackrock Neurotech, внедрила людям BCI на длительный срок — и, возможно, продать ее будет легче, чем другие массивы. Компания Synchron в Нью-Йорке разработала Стентрод - массив из 16 электродов, сформированных вокруг стента для кровеносного сосуда. Это устройство устанавливается за день в амбулаторных условиях и вводится через яремную вену в вену над моторной корой. Технология, впервые имплантированная человеку с боковым амиотрофическим синдромом в августе 2019 года, год спустя была подвергнута ускоренной проверке FDA.

Подобно электродам, которые использует Чанг, Стентроду не хватает точности разрешения других имплантатов, поэтому его нельзя использовать для управления сложными протезами. Но это позволяет людям, которые не могут двигаться или говорить, управлять курсором на планшетном компьютере и, таким образом, отправлять текстовые сообщения, сидеть в Интернете и управлять другими подключенными технологиями.

Соучредитель Synchron невролог Томас Оксли говорит, что в настоящее время компания предоставляет для публикации результаты технических испытаний с участием четырех человек, в ходе которых участники использовали беспроводное устройство дома, когда бы они ни захотели. «Из тела ничего не торчит. И это всегда работает», — говорит Оксли. По его словам, следующим шагом перед подачей заявки на одобрение FDA является более масштабное испытание, чтобы оценить, значительно ли устройство улучшает функциональность и качество жизни.

Испытания только впереди

Большинство исследователей, работающих над BCI, реалистично относятся к стоящим перед ними задачам. «Если оглянуться назад, это действительно сложнее, чем любое другое когда-либо созданное неврологическое устройство», — говорит Шеной. «Вероятно, нам предстоят трудные годы, чтобы еще больше усовершенствовать технологию».

Орсборн подчеркивает, что коммерческие устройства должны будут работать без присмотра специалистов в течение месяцев или лет, и что они должны работать одинаково хорошо у каждого пользователя. Она ожидает, что достижения в области машинного обучения решат первую проблему, предоставив пользователям калибровку. Но достижение стабильной производительности среди разных пользователей может оказаться более сложной задачей.

«Изменчивость от человека к человеку — это тот случай, когда мы точно не знаем масштаб проблемы», — говорит Орсборн. У нечеловеческих приматов даже небольшие изменения в расположении электродов могут влиять на то, какие цепи нейронов прослушиваются. Она подозревает, что существуют также важные особенности в том, как именно разные люди думают и учатся, а также в том, как различные состояния влияют на мозг пользователей.

Наконец, общепризнано, что этический надзор должен идти в ногу с этой быстро развивающейся технологией. BCI представляют множество проблем, от конфиденциальности до личной автономии. Специалисты по этике подчеркивают, что пользователи должны сохранять полный контроль над выводами устройств. И, хотя современные технологии не могут расшифровать личные мысли людей, у разработчиков будут записи всех сообщений пользователей и важные данные о здоровье их мозга. Более того, BCI представляют собой новый тип риска кибербезопасности.

Для участников также существует риск того, что их устройства могут не поддерживаться вечно или что компании, которые их производят, разорятся. Уже есть случаи, когда пользователи разочаровывались, когда их имплантированные устройства оставались без поддержки.

Дегрей, однако, очень хочет, чтобы BCI охватили больше людей. По его словам, больше всего он хотел бы получить от вспомогательных технологий возможность почесать бровь. «Все смотрят на меня в кресле и всегда говорят: «О, этот бедняга больше не может играть в гольф». Это плохо. Но настоящий ужас происходит посреди ночи, когда паук ползает по твоему лицу. И это кошмарно».

Для Джонсона речь идет о человеческом общении и тактильной обратной связи - объятия любимого человека. «Если мы сможем нанести на карту нейроны, которые отвечают за это, и каким-то образом отфильтровать их в протезе в будущем, тогда я буду очень доволен своими усилиями и этими исследованиями».

Изображение 1: Превращение мыслей в письмо

Изображение 2: нейрофизиолог Эдвард Чанг (справа) со своим испытуемым с нейроинтерфейсом

Источник: vk.com

Комментарии: