Можно ли с помощью нейронауки прочитать Ваши мысли? Почти

Нейросети действительно помогают увидеть мысли: учёные восстанавливают ранее увиденные изображения по активности мозга (или то, что человек представляет)

Современные методы машинного обучения позволяют анализировать паттерны активности мозга, полученные с помощью функциональной магнитно-резонансной томографии (фМРТ), и даже визуализировать воспринимаемый человеком контент. Однако до недавнего времени такие исследования сталкивались с ограничением: они могли восстанавливать только отдельные уровни визуальной информации, не объединяя их в целостное изображение.

Недавно ученым удалось разработать новый метод, который позволяет восстанавливать как увиденные, так и воображаемые изображения, используя многослойные представления визуальной коры головного мозга. Этот подход основан на декодировании активности мозга в виде признаков, характерных для глубоких нейронных сетей, и последующей оптимизации изображения так, чтобы его признаки максимально соответствовали расшифрованным.

В результате полученные изображения оказались очень похожи на оригинальные - будь то реальные фотографии или искусственные объекты, такие как цветные фигуры и буквы. При этом важно отметить: для обучения декодера использовался только набор естественных изображений, а затем он успешно применялся для восстановления различных типов визуального контента.

Это - прорыв, который открывает новые горизонты в понимании того, как мозг кодирует визуальную информацию, и как можно использовать искусственный интеллект для "прочтения" наших мыслей и воображений.

Иллюстрации:

1. В основе метода лежит оптимизация пиксельных значений исходного изображения так, чтобы его признаки, извлечённые с помощью глубокой нейронной сети (ДНС), максимально соответствовали признакам, расшифрованным из активности мозга с помощью фМРТ. То есть, изображение "подгоняется" под мозговые сигналы, чтобы оно выглядело так, как будто человек действительно видел или предстаавлял.

2. На изображениях чёрные и серые рамки обозначают соответственно предъявленные и восстановленные изображения - то есть те, что были показаны участнику и те, что были восстановлены на основе активности его мозга с помощью нейросетей (DNN1–8). Восстановленные изображения демонстрируют примеры изображений, которые человек видел. При этом процесс восстановления был ограничен использованием генеративной нейросети (DGN), что помогло сделать полученные изображения более естественными и похожими на оригиналы.

Научная статья: PubMed Central 6347330

Источник: vk.com

Комментарии: