Нейроинтерфейс: как и зачем

Алексей Павлов, доктор физико-математических наук,

«Химия и жизнь» №12, 2019

Во многих фантастических романах есть сцены, когда герой управляет сложным техническим устройством, например, в романе Стивена Кинга «Томминокеры» космический корабль пришельцев управляется мысленными намерениями человека. Возникает вопрос: когда мы сможем прочитать мысли человека и создать устройства (или интерфейсы, говоря компьютерным языком), транслирующие наши мысленные намерения в те или иные команды? По крайней мере, название для них уже есть: нейроинтерфейсы или, для простоты — интерфейсы.

Нейро — нерв, интер — между, фейс — лицо

Художник В. Камаев

До чтения мыслей нейрофизиологам и инженерам еще так далеко, что непонятно, сколько. Однако задача создания интерфейсов мозг—компьютер понемногу решается. Нейроинтерфейсы — это устройства и программы, которые используют эти устройства, то есть которые регистрируют активность в различных областях головного мозга и переводят эти сигналы в команды управления внешним устройством, например, компьютером. «Активность» мозга может проявляться по-разному, и ниже мы это обсудим.

Сама разработка интерфейсов мозг—компьютер весьма востребована и поэтому быстро развивается. Области применения можно условно разделить на несколько групп. Первая — это наука, то есть исследование работы мозга. Вторая группа применений — это медицина: диагностика, лечение и реабилитация. Третья — это управление «силой мысли» всем на свете — экскаватором на Земле, исследовательским роботом на Луне, экзоскелетом для увеличения возможностей здорового человека, коляской для инвалида и автомобилем для них обоих. И вообще помощь частично или полностью парализованным во взаимодействии с внешними устройствами, например, технология neurochat.pro, позволяющая людям с ограниченными возможностями общаться. Тут же, кстати, игровая индустрия — круто мочить монстров силой мысли! Четвертая, не очевидная область, — это тонкое взаимодействие мозга и внешних устройств, в том числе с обратной связью, когда не только человек управляет внешним устройством, но и внешний мир что-то сообщает человеку, как-то на него влияет. Сюда относятся тренировка устойчивости человека к факторам стресса, улучшение владения своим психофизиологическим состоянием, разработка возможности оценивать и передавать эмоции человека устройствам.

Продвижение во всех этих направлениях зависит от понимания того, как работает наш мозг, как его работа отражается в том, что мы можем наблюдать. В современных интерфейсах регистрируют макроактивность головного мозга в виде сигналов электроэнцефалограмм (ЭЭГ), магнитоэнцефалограмм (МЭГ), ближней инфракрасной спектроскопии (NIRS, Near Infrared Spectroscopy).

Мозг обрабатывает входящие сенсорные стимулы, например — звук, запах, цвет, вкус, принимаемые через периферические нервы, и подает импульсы на исполнительные механизмы, например, на мышцы и железы. Кроме того, он отвечает за мышление, обучение, обработку зрительной информации, речь, память, эмоции и тому подобное. Все эти действия мозга отражаются в регистрируемой активности головного мозга, например, движение конечностью отражается вполне определенным образом на ЭЭГ человека. Причем если движение не реальное, а только воображаемое, то на ЭЭГ это тоже отражается.

При этом программа в компьютере может как угодно сложно обрабатывать сигнал, она может обучаться, адаптируясь как к задаче, так и к конкретному человеку. Для такого обучения необходима обратная связь — программа должна получать информацию о том, правильно ли она интерпретировала полученные сигналы, правильно ли она «поняла» тот конкретный мозг, с которым работает. При этом программа может отчасти управлять и пациентом, ориентируя его на работу с теми ситуациями, которые она распознает менее успешно. Можно даже сказать, что интерфейс мозг—компьютер использует искусственный интеллект для распознания типов активности мозга.

Первые интерфейсы, упоминаемые в научной литературе, были разработаны в 1973–77 годах научной группой Калифорнийского университета при поддержке Национального научного фонда США и Управления перспективных исследовательских проектов Министерства обороны США. В экспериментах участвовали добровольцы, на головах которых в затылочной и теменной области размещали пять электродов, а затем обрабатывали получаемые сигналы. В тех работах авторы анализировали особенности структуры сигналов ЭЭГ, возникающие во время предъявления человеку разных изображений, так называемые зрительные вызванные потенциалы. Но это были самые первые попытки.

Классификация интерфейсов

Множество нейроинтерфейсов можно разделить на три группы: активные, реактивные и пассивный интерфейсы. Активный интерфейс использует изменения активности мозга, которая непосредственно и сознательно управляется человеком. Например, человек воображает, что двигает правой ногой и правой рукой. Это мысленное усилие приводит к изменениям в электрической активности мозга, на основе которых программа формирует управляющие команды, посылаемые на внешнее устройство, как в интерфейсе для печати текстов Hex-o-Spell. Реактивный интерфейс формирует управляющие команды, изучая ответ мозга на внешний сигнал, например, свет или звук. Пример реактивного интерфейса — экранная клавиатура с мигающими по очереди символами: мозг откликается, когда мигает тот символ, который задумал человек. Пассивный интерфейс анализирует текущую активность головного мозга, которая возникает сама по себе, в процессе жизнедеятельности человека. Такие интерфейсы могут быть полезны для создания систем мониторинга, которые следят за эмоциональным состоянием, обнаруживают снижение концентрации внимания или потерю контроля над системой.

Активные и реактивные интерфейсы в первую очередь представляют интерес в работе с людьми с ограниченными возможностями. Пассивные, оценивающие состояние человека, могут найти применение в индустрии развлечений, компьютерных играх, нейромаркетинге, а также мониторинге тех или иных эмоциональных и функциональных состояний оператора в человеко-машинных системах. Они могут следить за оператором — не отвлекается ли он, не перевозбужден, наконец, просто — на заснул ли он.

Но как увидеть, что происходит в мозге? Исследование работы нейронов нужно далеко не только для создания интерфейсов. Наблюдение за их работой позволяет обнаруживать повреждения в ткани головного мозга, помогает в диагностике травм мозга, нейродегенеративных изменений в мозге, связанных с возрастом пациента, метаболических нарушений и поражений мозга в более мелком масштабе, в выявлении эпилептических очагов.

В основе работы интерфейса лежит анализ информации, поступающей от пациента по четырем каналам. Это электрические импульсы нейронов, их магнитная активность, скорость течения крови внутри сосудов и изменение метаболизма. Рассмотрим их по очереди.

Электроэнцефалография

Наверное, все читатели «Химии и жизни» знают, что такое электроэнцефалография. И все же напомним, что это запись электрической активности головного мозга с помощью электродов, расположенных на поверхности головы (неинвазивная, или скальповая ЭЭГ) или наложенных непосредственно на кору головного мозга (инвазивная ЭЭГ, или электрокортикограмма). Амплитуда сигнала составляет в первом случае порядка 100 мкВ, во втором — раз в десять больше. Электроды, наложенные непосредственно на кору, дают больше информации. Они позволяют регистрировать даже активность отдельных нейронов. Но этот метод ограниченно применим только в интерфейсах медицинского назначения, когда, скажем, необходимо контролировать активность мозга во время операции. Для широкого использования пригодна только неинвазивная ЭЭГ. Впрочем, и в медицине с ее помощью выявляют различные заболевания мозга, такие как болезнь Альцгеймера, эпилепсия, расстройства сна, внимания, а также отклик мозга при нейрохирургических вмешательствах.

Сигналы электрической активности мозга снимают с помощью нескольких электродов, которые размещают на голове. Тут тоже есть свои тонкости. Если использовать влажные электроды, смазанные проводящей пастой, то сопротивление будет ниже и сигнал лучше, но проще работать с сухими электродами. Такая же проблема с количеством: чем электродов больше, тем больше информации, но проще работать с меньшим количеством. А еще есть скальповые подкожные электроды — тут все ясно из названия.

После того как сигнал снят и очищен от шумов и наводок (скакнуло напряжение в сети, в соседней комнате что-то включили, под окнами проехал трамвай), начинается самое интересное — обработка сигнала. Штука это сложная и многообразная, и в популярной статье можно привести примеры только самой простой и традиционной обработки. Один из вариантов — сигнал разделяют фильтрами на частотные полосы и отслеживают изменения амплитуды колебаний в разных полосах. Этот метод опирается на традиционное разделение сигналов, поставляемых мозгом, на «ритмы» — альфа-ритм, бета-ритм и другие. Можно анализировать так называемые вызванные потенциалы, то есть характерные сигналы, возникающие, когда человеку предъявляется какой-то стимул (вспышка света, незнакомый звук). При этом разные элементы отклика мозга специалисты связывают с разными стадиями обработки стимула (заметил, сопоставил с известными, классифицировал, принял решение, запомнил...).

Различные подходы к сигналам ЭЭГ позволяют получать разные скорости передачи информации, но в общем можно сказать, что регистрация сигналов головного мозга в зрительной коре после предъявления изображений позволяет реализовать скорость передачи информации 60–100 бит/мин, анализ сенсомоторных ритмов, синхронизованных с реальной и/или воображаемой двигательной активностью, позволяет достичь скорости передачи информации в пределах 3–35 бит/мин.

Но есть и другие методы

Для регистрации активности мозга пригодны и другие методы. Например, МЭГ, которая позволяет измерять слабые магнитные поля, генерируемые ионными токами в нейронах мозга. Для детекции очень слабых магнитных полей используют сверхпроводниковые квантовые интерферометры, или СКВИД-датчики. Эта технология позволяет фиксировать события с длительностями порядка миллисекунды и не нужны электроды, поэтому ее используют при работе с детьми и младенцами. Технологию реально применяют, но она очень дорогая, нужен высококвалифицированный персонал и специальная экранированная комната, потому что магнитное поле Земли и промышленные помехи превышают полезный сигнал на девять и шесть порядков соответственно.

В последнее время для регистрации активности мозга все чаще используют спектроскопию в ближней инфракрасной области (NIRS). Это небольшой прибор в виде шапочки, которая надевается на голову. Инфракрасное излучение проникает через кости черепа и прилегающие ткани в лобную и затылочную кору мозга и позволяет оценивать степень окисления гемоглобина, то есть потребление мозгом кислорода. Здесь, в отличие от ЭЭГ и МЭГ, фиксируется сигнал оптической природы — поглощение инфракрасного излучения; этот метод, вообще говоря, давно используется химиками, но, конечно, не в голове испытуемого, а в кювете. В нашем случае метод чаще всего используют для регистрации активности в первичной моторной и префронтальной коре. В первом случае снимают сигналы, соответствующие реальным и воображаемым движениям, во втором случае — сигналы, порождаемые мысленным счетом и логическими задачами, музыкальными и визуальными образами.

Задачи, которые пытаются решать посредством интерфейсов, разнообразны, однако есть общие принципы построения интерфейсов. Сигнал снимается с мозга, обрабатывается и управляет внешним устройством. Человек видит результат обработки и может корректировать его, при этом и человек, и программа обработки приспосабливаются друг к другу. Человек учится говорить внятно, а система учится правильно его понимать.

Обычно «язык», на котором человек говорит с интерфейсом, — это воображение движений различных конечностей, что позволяет относительно устойчиво генерировать несколько команд для управления внешним устройством (например — «влево», «вправо», «вверх», «вниз»). Причем формирование команды может быть либо мгновенным, либо более сложным. Например, мы можем контролировать через интерфейс движение инвалидного кресла, основываясь на мгновенном сигнале мозга, либо следить за его состоянием и формировать команду на основе его изменения. Во втором случае система будет действовать несколько медленнее, но надежнее.

Как можно применить

Большинство приложений интерфейсов предназначены для людей с тяжелыми двигательными нарушениями, и можно ожидать, что качество их жизни будет значительно улучшено. Принципиально важным параметром здесь является скорость передачи информации. Пациентов можно условно разделить на три группы. Первая группа — пациенты, которые полностью обездвижены из-за последней стадии бокового амиотрофического склероза или тяжелой формы церебрального паралича. Вторая группа — с остаточной контролируемой двигательной активностью, например, движение или мигание глаз, подергивание губами и тому подобное. Третья группа — с сохранившимся нервно-мышечным контролем, в частности, с нарушениями речи, парезами и т. п.

Пациенты первой группы обычно не могут сознательно управлять интерфейсом. Для третьей группы пациентов использование интерфейсов неэффективно — есть способы, которые могут обеспечить более высокую и стабильную скорость передачи информации. Например, обнаружить движения глаз можно быстрее, проще и точнее, чем модуляции потенциалов головного мозга. C помощью технологии контроля движения глаз (айтрекера) может быть получена скорость набора текста порядка десяти слов в минуту. Естественно, были предложены гибридные системы, например, комбинации нейроинтерфейсов с айтрекерами.

Области приложений в зависимости от скорости передачи данных и состояния здоровья

На рисунке вверху показана взаимосвязь между необходимой скоростью передачи информации, возможностями человека и доступными для него приложениями интерфейса.

Для третьей группы представляет интерес не передача информации, а нейрореабилитация — восстановление утраченных моторных или когнитивных функций у постинсультных пациентов и пациентов с повреждениями спинного мозга. Она основана на использовании биологической обратной связи для саморегуляции мозговой активности, которая, в свою очередь, происходит за счет изменения топологии нейронных сетей мозга — то есть мозг начинает использовать другие пути передачи сигнала.

Еще одно, хотя пока менее развитое, применение интерфейсов — это мониторинг когнитивных способностей человека в процессе решения различных задач и даже тренировка его когнитивных способностей. Такие интерфейсы используют в нейромаркетинге и видеоиграх для получения информации об эмоциях, усталости и сосредоточенности пользователей. Cейчас исследователи изучают возможность с помощью таких интерфейсов распознавать проэпилептические состояния и подавлять эпилептические разряды в головном мозге.

Существует большое число различных приложений интерфейсов — текстовых процессоров, адаптированных браузеров, инвалидных колясок, нейропротезов; есть и игровые приложения. Однако большинство предназначено лишь для обучения и демонстрации, потому что на пути к реальному применению есть несколько препятствий, в частности — пока мала скорость передачи информации, много ошибок при ее передаче и во многих случаях требуется установка электродов. Кроме того, высока когнитивная нагрузка на человека: взаимодействовать с интерфейсом ему проще в спокойной лаборатории, нежели на шумной улице города. Поэтому наиболее удачные примеры применений были получены в клинической практике. Наконец, есть одна специфическая проблема — пользователь обычно имеет возможность отключить интерфейс с помощью специфичной активности мозга, но часто не может снова включить его. В нейронауке это называется проблемой Midas touch — дар золотого прикосновения, которым был наделен жадный царь мидас: к чему бы они ни прикасался, все превращалось в золото, поэтому использовать руки для повседневных функций было сложно.

А теперь — чуть подробнее о самых важных применениях нейроинтерфейсов.

Наша базовая потребность

Общение — одна из базовых потребностей человека. Человек, лишенный возможности двигать руками и набирать текст на клавиатуре, может воспользоваться специальным приложением. Обычно это виртуальная клавиатура на экране. Пользователь выбирает букву из алфавита с помощью интерфейса, который анализирует его ЭЭГ. Например, в одном из вариантов пользователю надо лишь представить, что он двигает рукой или ногой, чтобы выбрать ту или иную букву. Весь алфавит делится изначально пополам в зависимости от типа воображаемого движения, потом снова пополам и так до выбора конкретного символа. Скорость написания сообщений в этом случае — от 0,5 до 0,85 символа в минуту.

В другой системе символы отображаются на экране в виде матрицы. Здесь задача пользователя, чей ЭЭГ-ответ анализируется в реальном времени, — сосредоточить внимание и концентрироваться на выбранном символе. Строки и столбцы символов на экране по очереди мигают, что приводит к генерации потенциала при совпадении с ожидаемым символом. Когда на экране мигает нужная строка, ЭЭГ изменяется, когда мигает нужный столбец — изменяется второй раз. Скорость набора — два символа в минуту, метод не требует длительных тренировок.

Важное направление — браузеры, адаптированные к пользователям с тяжелыми формами инвалидности, и социальные сети на базе нейротехнологий. Пример — коммуникационная система «Нейрочат» (neurochat.pro), предназначенная для сетевого общения людей, не имеющих возможности говорить и двигаться. Разработка системы «Нейрочат», у которой нет прямых зарубежных аналогов, выполнена компанией «Нейротренд» под научным руководством доктора биологических наук А. Я. Каплана, заведующего лабораторией нейрофизиологии и нейрокомпьютерных интерфейсов биологического факультета МГУ имени М. В. Ломоносова. Проект «Нейрочат» создавался частной компанией в рамках Национальной технологической инициативы (дорожная карта «Нейронет»).

Ассистивные технологии и передвижение

Люди, которые страдают тяжелыми двигательными нарушениями, проводят основное время дома, поэтому им необходимы приложения, которые дают контроль над бытовыми устройствами, освещением или температурой в помещении. Уже протестированы три варианта подобных интерфейсов. В первом человек мог использовать клавиатуру, мышь или джойстик, во втором — только головные трекеры и микрофоны, если у пациента не повреждены мышцы шеи и он может говорить. В третьем случае, при полной инвалидности, системой можно было управлять с помощью ЭЭГ. В результате пользователь интерфейса мог силой мысли включить в комнате свет, изменить температуру, включить телевизор. Это не только повышает качество жизни самих инвалидов, но и снимает часть нагрузки с опекуна и родственников.

Приложения, позволяющие инвалиду контролировать коляску, на которой он передвигается, не менее важны. Однако сигналы ЭЭГ обычно содержат шум и помехи, поэтому возможны ложные срабатывания, а для коляски это недопустимо. Поэтому в данном случае предпочтительнее использовать инвазивные методы регистрации сигналов ЭЭГ. Эксперименты с обезьянами показали, что, используя сигналы с электродной матрицы, имплантированной в моторную кору, нашим предкам удается переместить компьютерный курсор в заданную точку на экране.

Однако инвазивная регистрации ЭЭГ все-таки неудобна, поэтому создание неинвазивных интерфейсов выглядит заманчиво. Показано, что управлять инвалидными колясками исключительно за счет использования сигналов ЭЭГ можно, принципиальным вопросом является недопустимость ложных срабатываний. Поэтому в некоторых разработках система управления инвалидным креслом может сама оценивать препятствия. В результате оператор коляски может передвигаться в помещении, задавая команды вперед / назад и влево / вправо, а система, в случае ошибки, ориентируясь на «карту помещения», корректирует его ошибки. Сделать подобную систему для передвижения в свободном пространстве более чем сложно, но работы в этом направлении ведутся.

Подобные нейротехнологии сейчас все больше привлекают к управлению беспилотниками.

Нейрореабилитация

Интерфейсы помогают восстанавливаться людям с инсультом и повреждениями спинного мозга. При этом используется биологическая обратная связь, которая вызывает саморегуляцию мозговой активности. Обычные последствия инсульта — дефицит подвижности на одной стороне тела, ненормальный мышечный тонус, неправильная корректировка позы, недостаток координации и чувствительности. В результате инсульта половина пациентов навсегда остаются в инвалидном кресле. Благодаря интерфейсам люди могут не только управлять вспомогательными устройствами (протезами, экзоскелетами), но и восстанавливать двигательные функции за счет активации пластических механизмов и изменения топологии нейронных сетей мозга.

Недостаток ЭЭГ для этих случаев — низкая точность метода, то есть недостаточно точная локализация источников активности в мозге. Поэтому для нейрореабилитации была бы полезна регистрация гемодинамической активности, измеряемая с помощью фМРТ — но это стационарная, сложная и дорогая техника. Возможное решение — использование NIRS, ближней инфракрасной спектроскопии, чтобы позволить пользователю преднамеренно регулировать свои гемодинамические реакции. При этом мозг учится, а именно — тренируется управлять своим кровоснабжением. Это было показано и для здоровых людей, и для постинсультных пациентов. Нейронная обратная связь на основе NIRS может быть использована и для долгосрочного обучения. Например, в последних работах нашей лаборатории было показано, что, используя биологическую обратную связь, можно до определенных пределов продлить степень концентрации внимания человека при решении монотонной задачи. Хотя за все приходиться платить: за счет ограниченного когнитивного ресурса мозга при этом сама степень концентрации уменьшалась.

Интерфейс оценивает человека

Задача пассивного интерфейса — работа со здоровыми людьми, а цель — повышения когнитивных способностей во время деятельности, связанной с высокой нагрузкой. С помощью такого интерфейса можно следить за концентрацией внимания, за когнитивным утомлением, вообще за эмоциональным состоянием оператора. Пассивные интерфейсы уже используются для оценки состояния водителей, используются они и в авиации для мониторинга состояния пилотов и диспетчеров. Интересное направление — мониторинг состояния студентов и школьников в процессе обучения.

Пассивные интерфейсы могут быть использованы и более широко — для мониторинга эмоционального состояния человека. Анализируя сигналы ЭЭГ, удается распознать до шести эмоций. Например, предложены системы, позволяющие различать эмоции счастливый / несчастливый, вызванные картинками и музыкой. В медицине такие системы помогут в диагностике депрессии и шизофрении. Возможны и не медицинские применения, для развлечений и игр. Было бы интересно исследовать влияние различных внешних стимулов и внутренних особенностей человека на его эмоциональное состояние. Как это ни странно звучит, но когда-нибудь на этом пути мы сможем определять, как сделать конкретного человека счастливым. То есть система сможет подбирать музыку, книги и игры так, чтобы сделать нас счастливыми.