ИИ научился преобразовывать мозговую активность в речь

Прикрепленные к мозгу электроды помогли считать сигналы, а нейросеть расшифровала слова и преобразовала их в звучащую речь. В некоторых случаях точность расшифровки доходила до 80%. Технология может повысить качество жизни пациентов с речевыми нарушениями, но нейроинтерфейсы для чтения мыслей еще не скоро станут реальностью.

Эксперимент по преобразованию мозговой активности в речь провели три группы исследователей. Как поясняет Science, испытания проводились на открытом мозге пациентов, к которому подключили электроды.

Проводить такую процедуру можно было только в двух случаях — в ходе операции по удалению опухоли мозга и при проведении диагностики перед хирургическим вмешательством у пациентов с эпилепсией. В обоих случаях ученым приходилось действовать быстро. 

Исследователи попросили испытуемых читать вслух, беззвучно проговаривать текст речи и слушать аудиозаписи. Параллельно с этим датчики анализировали мозговую активность и передавали данные на компьютер, где их анализировала нейросеть. Затем система преобразовывала сигналы в звучащую речь. 

В первом случае пациенты прослушивали аудиозаписи, а ИИ анализировал сигналы слуховой коры головного мозга, которая остается активной как во время говорения, так и в процессе слушания.

На основе собранной информации алгоритм озвучил слова, которые группа волонтеров распознала с точностью 75%.

Во втором исследовании испытуемых просили зачитать вслух простые односложные слова. Микрофон записывал произносимую речь, а электроды считывали активность мозга в зонах, которые отвечают за планирование речи и двигательную активность. Затем нейросеть сопоставила данные с датчиков с аудиозаписями и определила, какому слову соответствует определенный паттерн мозговой активности. При преобразовании сигналов в речь, понятными оказались около 40% слов, сгенерированных компьютером.

Третий эксперимент позволил реконструировать целые предложения в процессе чтения текста вслух. Волонтерам, которые оценивали точность расшифровки, предложили прослушать сгенерированную фразу и найти ей соответствие среди 10 текстовых вариантов. В некоторых случаях точность распознавания достигала 80%. 

Ученым также удалось расшифровать сигналы мозга в процессе беззвучной артикуляции текста, когда испытуемый задействовал не голос, а только мимику. 

Пока технология не позволяет расшифровывать мысли человека и преобразовывать слова и фразы, которые он произносит в уме, в звучащую речь. Исследователи признают, что для достижения этой цели потребуется прорыв в нейронауках. «Пока не совсем ясно, как в принципе можно этого добиться», — отметил американский эксперт по нейроинженерии Гервин Шалк, который не принимал участия в подготовке научной работы.  

Также существующая система пока не универсальна. Технология декодирования настраивается индивидуально для каждого пациента, поэтому о масштабировании речи не идет.

Аналитики полагают, что в будущем нейроинтерфейсы не только позволят людям с речевыми нарушениями свободно выражать свои мысли, но также откроют новые методы восприятия информации. Спектр чувств человека расширится, а вместе с этим появится возможность испытать уникальные сенсорные ощущения, которых люди не знали прежде.