Декодер мозговой активности может выявлять истории в сознании людей

МЕНЮ


Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


Новая система искусственного интеллекта, называемая семантическим декодером, может переводить мозговую активность человека — когда он слушает историю или мысленно представляет, как рассказывает ее, — в непрерывный поток текста. Система, разработанная исследователями из Техасского университета в Остине, может помочь людям, которые находятся в сознании, но физически не могут говорить, например, тем, кто пострадал от инсульта, снова общаться внятно.

Исследование, опубликованное в журнале Nature Neuroscience, возглавляли Джерри Тан, докторант в области компьютерных наук, и Алекс Хут, доцент кафедры неврологии и информатики в Калифорнийском университете в Остине. Работа частично основана на модели transformer, аналогичной тем, которые используются в ChatGPT от Open AI и Bard от Google.

В отличие от других разрабатываемых систем декодирования языка, эта система не требует от испытуемых наличия хирургических имплантатов, что делает процесс неинвазивным. Участникам также не нужно использовать только слова из предписанного списка. Мозговая активность измеряется с помощью МРТ-сканера после тщательной тренировки декодера, в ходе которой человек часами прослушивает подкасты в сканере. Позже, при условии, что участник готов к расшифровке своих мыслей, его прослушивание новой истории или представление того, как он рассказывает историю, позволяет машине генерировать соответствующий текст только на основе мозговой активности.

“Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, что обычно представляло собой отдельные слова или короткие предложения”, - сказал Хут. “Мы получаем модель для декодирования непрерывного языка в течение длительных периодов времени со сложными идеями”.

Результатом является не дословная расшифровка. Вместо этого исследователи разработали его таким образом, чтобы уловить суть того, что говорится или о чем думают, хотя и несовершенно. Примерно в половине случаев, когда декодер обучен отслеживать мозговую активность участника, машина выдает текст, который близко (а иногда и точно) соответствует предполагаемому значению исходных слов.

Например, в экспериментах участники, слушавшие, как оратор говорит: “У меня еще нет водительских прав”, переводили свои мысли следующим образом: “Она еще даже не начала учиться водить”. Слушая слова: “Я не знал, кричать, плакать или убегай. Вместо этого я сказал: ”Оставь меня в покое!“” было расшифровано как "Начала кричать и плакать, а потом она просто сказала: "Я же сказал тебе оставить меня в покое"."

Comparison of word sequence the user is listening to and the text produced by the semantic decoder

На этом изображении показаны предсказания декодера на основе записей мозга, собранных во время прослушивания пользователем четырех историй. Примеры сегментов были отобраны вручную и снабжены комментариями, чтобы продемонстрировать типичное поведение декодера. Декодер в точности воспроизводит некоторые слова и фразы и улавливает суть многих других. Предоставлено: Техасским университетом в Остине.

Начиная с более ранней версии статьи, которая появилась в виде препринта в Интернете, исследователи рассмотрели вопросы о потенциальном неправильном использовании технологии. В статье описывается, как декодирование работало только с участниками сотрудничества, которые добровольно участвовали в обучении декодера. Результаты для людей, на которых декодер не был обучен, были непонятны, и если участники, на которых декодер был обучен, позже оказывали сопротивление — например, думая о других мыслях, — результаты были аналогично непригодны для использования.

“Мы очень серьезно относимся к опасениям, что это может быть использовано в дурных целях, и работали над тем, чтобы избежать этого”, - сказал Тан. “Мы хотим быть уверены, что люди используют подобные технологии только тогда, когда они этого хотят, и что это им помогает”.

В дополнение к тому, что участники слушали или обдумывали истории, исследователи попросили испытуемых посмотреть четыре коротких видеоролика без звука, находясь в сканере. Семантический декодер смог использовать активность их мозга для точного описания определенных событий из видеороликов.

В настоящее время система непрактична для использования за пределами лаборатории из-за ее зависимости от времени, необходимого для работы с аппаратом ФМРТ. Но исследователи полагают, что эта работа могла бы быть перенесена на другие, более портативные системы визуализации мозга, такие как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).

“fNIRS измеряет, где в мозге больше или меньше кровотока в разные моменты времени, что, как оказалось, является точно таким же сигналом, который измеряет ФМРТ”, - сказал Хут. “Таким образом, наш точный подход должен быть применен к fNIRS”, хотя, отметил он, разрешение с помощью fNIRS было бы ниже.

Аспирант Джерри Тан готовится собирать данные о мозговой активности в Центре биомедицинской визуализации Техасского университета в Остине. Исследователи обучили свой семантический декодер на десятках часов данных о мозговой активности участников, собранных с помощью МРТ-сканера. Фото предоставлено: Нолан Занк / Техасский университет в Остине.

Эта работа была поддержана Фондом Уайтхолла, Фондом Альфреда П. Слоана и Фондом Берроуза Уэллкома.

Другими соавторами исследования являются Аманда Лебель, бывший научный сотрудник лаборатории Хута, и Шейли Джейн, аспирантка по информатике Калифорнийского университета в Остине.

Александр Хут и Джерри Тан подали заявку на патент PCT, связанную с этой работой.

Для получения дополнительной информации о проекте ознакомьтесь с полным пресс-релизом Колледжа естественных наук.


Источник: cns.utexas.edu

Комментарии: