Нейросеть научилась реконструировать лица по воспоминаниям людей

Justin Pickard / Flickr

Американские нейрофизиологи сумели расшифровать данные томографии и реконструировать изображения лиц, о которых вспоминали подопытные. Об этом сообщает статья, опубликованная в Journal of Neuroscience.

В экспериментах группе добровольцев последовательно демонстрировались цветные фотографии 1000 человеческих лиц. С помощью функциональной МРТ Хунми Ли (Hongmi Lee) и Брайс Кюль (Brice Kuhl) следили за возникающей при этом активностью угловой извилины. Она расположена в задней части теменной доли головного мозга и, помимо прочих функций, участвует в процессах извлечения памяти.

Кроме того, с помощью алгоритмов Eigenface в тех же изображениях лиц были выделены 300 ключевых компонентов. Эти алгоритмы позволяют представить любое человеческое лицо как сумму характеристик некоторого базового набора («палитры лиц») с разными весовыми коэффициентами. Полученные данные вместе с записями фМРТ были проанализированы системой с искусственным интеллектом, которая обнаружила между ними корреляции. Определенным паттернам активности нейронов ИИ сопоставил соответствующие компоненты лица - однако это была лишь подготовительная часть экспериментов.

Lee & Kuhl, 2016

Lee & Kuhl, 2016

На следующем этапе Ли и Кюль показывали подопытным новые снимки, на которых были изображены совершенно новые и незнакомые им лица людей. Затем авторы получили данные томографии во время припоминания этих образов подопытными. Наконец, опираясь на найденные прежде корреляции, они сумели реконструировать прежде незнакомое системе-«расшифровщику» лицо. Точность такой реконструкции оставляет желать лучшего, однако на ней вполне можно увидеть ключевые характеристики исходного лица, такие как цвет кожи, пол и эмоциональное выражение и т.п.

Lee & Kuhl, 2016

 Заметим, что два года назад Брайс Кюль уже показывал возможность реконструкции незнакомого лица из данных фМРТ в процессе наблюдения и обработки сенсорной информации. Теперь же это удалось и апостериорно, при воспоминании.

Lee & Kuhl, 2016

Роман Фишман

Источник: nplus1.ru

Комментарии: