Нейроинтерфейс расшифровал речь сразу на двух языках |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2024-05-27 11:39 актуальная математика, работа головного мозга, Нейроинтерфейс Парализованный пациент смог общаться на испанском и английском Исследователи обнаружили, что одни и те же нейроны речевых моторных центров активируются, когда пациент говорит на английском и испанском языке. Ученые из США разработали нейроинтерфейс, который позволил декодировать речь парализованного мужчины-билингва. Модель машинного обучения, натренированная на предложениях на испанском и английском языках, предсказывала фразы, которые пытался произнести пациент — и на одном, и на втором языке. Словарь декодера состоял из 111 испанских и 70 английских слов, а также нескольких десятков фраз. С помощью декодера пациент смог побеседовать с исследователями на испанском и английском. Результаты опубликованы в Nature Biomedical Engineering. https://www.nature.com/articles/s41551-024-01207-5 В 2019 году команда ученых из Калифорнийского университета Сан-Франциско под руководством Эдварда Чана (Edward Chang) имплантировала электроды https://nplus1.ru/news/2021/07/15/paralysis-words в мозг парализованного после инсульта мужчины, который утратил способности говорить. Электроды разместили в районе нижней лобной извилины, средней лобной извилины, прецентральной и постцентральной извилин левого полушария — моторных областей коры, которые отвечают за речь. Затем исследователи обучили нейронную сеть расшифровывать сигналы с электродов в моменты, когда пациент пытался говорить, и переводить их в текст. Словарь такого декодера состоял из 50 английских слов, из которых пациент мог составлять простые предложения со скоростью около 15 слов в минуту. Некоторое время спустя ученые улучшили систему: декодер научили работать, даже когда мужчина произносил слова про себя, а его словарь расширился до 1152 слов. https://nplus1.ru/news/2022/11/08/speech-decoderhttps://vk.cc/cipi6T Однако английский не был родным языком пациента — он выучил его уже во взрослом возрасте, а с детства говорил по-испански. В новом исследовании команда Чана обучила декодер расшифровывать речь этого пациента на двух языках на основе корковой активности и моделей естественного языка. Декодер обучали на 70 английских словах и 111 испанских. Фразы, составленные из этих слов, пациент читал с экрана — он не мог говорить, но пытался это делать, издавая мычание. Данные с электродов записывались и передавались в классификатор, который рассчитывал вероятности того, что дальше последует то или иное слово на одном из двух языков. Прогнозируемая вероятность неспряженных форм глаголов распространялась и на все спряженные формы. Затем включалась вероятностная модель естественного языка, благодаря которой декодер отдавал приоритет лингвистически допустимым фразам и правильно спрягал глаголы. На этапе тестирования пациент читал 56 двуязычных фраз с экрана в случайном порядке. Декодер правильно расшифровал 73,3 процента фраз на испанском и 77,8 процента на английском. Если декодер опирался только на нейронные данные (без языкового моделирования), он ошибался более чем в 50 процентах случаев, но все еще мог верно предсказывать фразы. Важным результатом стало и то, что мужчина смог самостоятельно генерировать фразы из словаря — а не только читать их с экрана. Он отвечал на вопросы исследователей и мог беседовать с ними как на английском, так и на испанском языке. Также исследователи обнаружили, что одни и те же нейроны речевых моторных центров активируются, когда пациент говорит на английском и испанском языке. Судя по всему, языковые модели классификации фиксировали общую артикуляционную информацию, а не специфичные для конкретного языка сигналы. Иногда декодер мог путать одно слово с другим — и чаще всего это происходило тогда, когда слова были похожи по звучанию, а не по смыслу. Опираясь на это, ученые создали набор фраз, в котором английские и испанские слова состояли из одних и тех же слогов и на их основе применили трансферное обучение декодера. Декодер, обученный на одном языке, успешно предсказывал фразы, которые пациент пытался произносить на другом. Такой подход может значительно ускорить обучение двуязычных декодеров в будущем, по крайней мере в случае языков, схожих друг с другом. Источник: nplus1.ru Комментарии: |
|