ИИ научили переводить ЭЭГ в текст: точность перевода магнитоэнцефалографии достигла 82%

Нейроинтерфейсы "мозг–компьютер" помогают людям с параличом общаться, но требуют хирургического вмешательства. Неинвазивные методы, такие как электроэнцефалография (ЭЭГ) и магнитоэнцефалография (МЭГ), могут стать их альтернативой. Однако информация, получаемая этими методами, трудна для обработки.

Искусственный интеллект решает эту проблему. В журнале Nature Neuroscience опубликованы результаты экспериментов по переводу ЭЭГ и МЭГ в текст. В исследовании участвовали 35 здоровых добровольцев, которые набирали предложения на клавиатуре. Их мозговые волны фиксировали с помощью ЭЭГ и МЭГ, уделяя особое внимание моментам нажатия клавиш. На собранных данных обучили гибридную модель, объединяющую сверточную нейросеть и языковую модель-трансформер.

Участники набирали слова без визуальной обратной связи. Трехкомпонентный алгоритм декодировал моторные сигналы:

1. Сверточный модуль анализировал 500-миллисекундные окна сигналов ЭЭГ или МЭГ.

2. Трансформерный модуль работал на уровне предложений.

3. Предварительно обученная языковая модель корректировала выходные данные трансформера.

Разработанная архитектура, названная Brain2Qwerty, предназначена для расшифровки предложений по данным ЭЭГ и МЭГ. Обученный алгоритм предсказывал, какую клавишу нажимает участник, и реконструировал набираемую фразу. При использовании ЭЭГ доля ошибок достигала 65%, а при МЭГ — 29%. У лучших участников ошибки снижались до 18%, позволяя модели расшифровывать предложения, не входившие в обучающую выборку.

Следующий шаг — декодирование моторных сигналов без их физической реализации, то есть просто представляя набор текста. В будущем планируется научиться переводить неинвазивно зарегистрированную мозговую активность не только в текст, но и в команды для протезов и других вспомогательных технологий.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: