Нейросеть научилась видеть то, что видите вы, по снимку мозга

Исследователи из израильского Института Вейцмана создали ИИ, который по данным МРТ восстанавливает картинку, на которую смотрит человек.

Декодер работает в две ветки:

одна определяет структуру: где какие цвета и как всё расположено

другая распознаёт содержание, например «бананы на тарелке»

Потом обе подсказки уходят в диффузионную модель, и она рисует итоговое изображение.

Чтобы настроить систему на нового человека, хватает часа сканирования вместо прежних 40. При цене МРТ $600–1000 в час разница заметная.?

Обучали модель на данных восьми добровольцев, каждый посмотрел около 9000 картинок. Примерно 70% обучающих данных были синтетическими.

Ошибки пока случаются: торт превращается в бутерброды, а собака в ванной становится козой похожего цвета.????

Дальше авторы хотят восстанавливать видео, звук, воображаемые образы и даже сны. Похожий подход уже пробуют перенести на ЭЭГ, то есть на шапочки с электродами и устройства в форме наушников.?

Медикам это поможет общаться с парализованными пациентами. Но эксперты предупреждают: так компании смогут вытаскивать информацию из мозга без согласия человека.?

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: