Нейромышечный браслет научили декодировать жесты любого человека без калибровки

Исследователи из Reality Labs, исследовательского подразделения компании Meta*, разработали неинвазивный нейромышечный интерфейс в формате браслета, который декодирует электрические сигналы мышц на запястье и позволяет с их помощью управлять компьютером. Устройство способно распознавать отдельные жесты пальцев руки и отклонения кисти. С его помощью пользователи управляли курсором и вводили рукописный текст со скоростью до двадцати одного слова в минуту. В основе системы лежат универсальные нейросетевые модели, натренированные на большом массиве данных, полученных от нескольких тысяч добровольцев — это позволяет новым пользователям использовать браслет без долгой предварительной калибровки. Статья опубликована в журнале Nature.

Способы взаимодействия человека с компьютером не ограничиваются привычными клавиатурой и мышью. Например, нейроинтерфейсы наподобие Neuralink позволяют управлять устройствами буквально силой мысли. За счет хирургического вживления электродов Neuralink может считывать активность нейронов непосредственно из мозга, что обеспечивает высокую точность и скорость передачи. Благодаря такому подходу парализованные люди, например, получают возможность использовать компьютер и даже играть в видеоигры. Тем не менее необходимость в хирургической операции ограничивает массовое применение этой технологии.

Существуют и более безопасные (неинвазивные) методы. К примеру, электроэнцефалография позволяет регистрировать электрическую активность мозга на коже головы. Однако из-за слабости сигналов ЭЭГ имеет низкое соотношение сигнал-шум, что снижает точность декодирования. Альтернативный подход — нейромышечные интерфейсы, считывающие электрические моторные импульсы в мышцах с помощью поверхностной электромиографии. Хотя эти сигналы заметно сильнее и их проще регистрировать, чем сигналы ЭЭГ, до недавнего времени попытки создать полноценный ЭМГ-интерфейс сталкивались с проблемами: устройства были слишком громоздкими, требовали точного расположения электродов и длительной настройки под каждого пользователя.

Команда инженеров под руководством Патрика Кайфоша (Patrick Kaifosh) и Томаса Рирдона (Thomas R. Reardon) из Reality Labs, исследовательского подразделения Meta*, уже несколько лет разрабатывает универсальный нейромышечный интерфейс, решающий эти проблемы. Недавно они продемонстрировали его новую версию. Устройство представляет собой надеваемый на запястье браслет с размещенными по окружности 48 сухими электродами. Они с частотой 2 килогерца считывают с кожи ЭМГ-сигналы мышц предплечья, управляющих движениями кисти и пальцев. Браслет беспроводной, передает данные по Bluetooth, и может работать от встроенного аккумулятора более четырех часов.

Вместо того чтобы подстраивать систему декодирования ЭМГ-сигналов под каждого пользователя, разработчики создали несколько универсальных нейросетевых моделей. Для этого потребовалось собрать большой массив данных от более чем шести тысяч добровольцев. Участники исследования с браслетом на руке выполняли три типа заданий. В одном им приходилось управлять одномерным движением курсора, наводя его на заданную точку отклонением кисти. Во втором требовалось выполнять различные жесты пальцами, такие как щелчки или свайпы. Третье задание заключалось в написании текста воображаемой ручкой. Во время выполнения заданий браслет регистрировал поверхностные ЭМГ-сигналы, которые сопоставлялись с действиями, формируя обучающую выборку.

На собранных таким образом данных были обучены три нейросетевые модели под каждую из задач. Величина и разнообразие набора данных позволили им научиться выделять общие паттерны для конкретных действий и жестов, игнорируя при этом индивидуальные различия в анатомии, манерах движений, а также небольших смещениях браслета на руке. Для проверки эффективности системы в режиме реального времени были проведены тесты с новыми пользователями, которые не участвовали в сборе обучающей выборки. В задаче управления курсором испытуемые в среднем достигали 0,66 цели в секунду. В эксперименте на распознавание дискретных жестов скорость составила 0,88 жеста в секунду. Наконец, в задаче рукописного ввода пользователи достигли средней скорости 20,9 слова в минуту.

По словам авторов, эти показатели несколько хуже, чем при использовании традиционных устройств ввода. Однако, в отличие от них, ЭМГ-браслет имеет свои плюсы: он не занимает много места, оставляет руки свободными и может использоваться на ходу, что делает его идеальным устройством для будущего применения в области виртуальной и дополненной реальности. Кроме того, пользователи благодаря тренировкам могут улучшить результаты, а сама система обладает потенциалом для роста производительности — например, за счет дальнейшего увеличения обучающего массива данных или небольшой персонализации. В частности, разработчики показали, что короткая индивидуальная настройка (около 20 минут) позволяет снизить ошибку распознавания текста в среднем на 16 процентов. Этого же результата можно добиться, дообучив модель на 14 тысячах минут новых данных от других людей.

Благодаря нейроинтерфейсам люди, утратившие из-за болезней или вследствие травм определенные навыки, в будущем могут вновь обрести их. Например, недавно нейробиологи из США смогли декодировать внутреннюю речь пациента с тетраплегией по его нейронной активности.

*Деятельность компании Meta в России запрещена.