Искусственный интеллект научился "читать мысли" целыми фразами

Учёные создали систему, которая дешифрует сигналы мозга и превращает их в речь. Так можно узнать, что говорит испытуемый, не слыша его слов. Со временем подобные устройства могут стать синтезаторами речи для немых.

Достижение описано в научной статье, опубликованной в журнале Nature Neuroscience.

Разные исследовательские группы не первый год занимаются созданием систем, которые преобразуют картину мозговой активности в слова, фактически заменяя собой речевой аппарат человека. Однако в предыдущих работах речь обычно шла о связи сигналов мозга с движениями органов речи или произносимыми звуками.

Исследователи из Калифорнийского университета в Сан-Франциско решили срезать путь. Их разработка сопоставляет нейронные сигналы непосредственно с фразами. Для этого они адаптировали алгоритмы, применяемые в машинном переводе с одного языка на другой. В данном случае решается похожая задача. Мозг, воспринимающий речь, переводит её на язык своей электрической активности. Задача искусственного интеллекта — выполнить обратный перевод.

Исследователи адаптировали к расшифровке нейронных сигналов подход, используемый для машинного перевода. Перевод "Вести.Наука".

Иллюстрация Gregory B. Cogan, Nature Neuroscience (2020).

В эксперименте участвовали четыре женщины, страдающие эпилепсией. Ранее медики внедрили им в медицинских целях в мозг порядка 250 электродов, которые теперь послужили во благо науки.

Все испытуемые зачитывали вслух набор фраз. В это время электроды фиксировали активность их мозга, связанную с движениями губ, произнесением гласных и согласных букв и другими параметрами.

Затем в дело вступали три искусственные нейронные сети. Первая выделяла закономерности в том, как сигнал с электродов менялся со временем. Вторая преобразовывала результат работы первой в специальные математические структуры (шаблоны). Наконец, третья превращала их в текст на английском языке.

Участницы эксперимента повторяли каждое из 30-50 предложений по два раза. Отклик нервных клеток на первое произнесение фразы служил для обучения системы, а на второе произнесение — для проверки её навыков.

В итоге система ошиблась лишь в 3% случаев. Это очень хороший результат для разработок такого рода.

Правда, словарный запас использованных фраз ограничивался 250 словами. Но, во-первых, и это очень много для людей, которые сегодня не могут произнести или написать вообще ничего из-за паралича. А во-вторых, специалисты продолжают свою работу.

Источник: m.vk.com

Комментарии: