Глубокое обучение помогло декодировать образы букв в мозгу человека

МЕНЮ


Новости ИИ
Поиск

ТЕМЫ


Внедрение ИИНовости ИИРобототехника, БПЛАТрансгуманизмЛингвистика, рбработка текстаБиология, теория эволюцииВиртулаьная и дополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информации

АРХИВ


Июнь 2017
Май 2017
Апрель 2017
Март 2017
Февраль 2017
Январь 2017
Декабрь 2016
Ноябрь 2016
Октябрь 2016
Сентябрь 2016
Август 2016
Июль 2016
Июнь 2016
Май 2016
Апрель 2016
Март 2016
Февраль 2016
Январь 2016
0000

RSS


RSS новости
птичий грипп

Новостная лента форума ailab.ru


Верхний ряд — визуальные стимулы. Нижний ряд — результат обработки фМРТ с помощью нейросети, обученной авторами. Между ними — результат работы более ранних алгоритмов

Changde Du et al. / arXiv.org, 2017

Китайские исследователи разработали новый метод декодирования видимых изображений из зрительной коры головного мозга человека. С его помощью можно по активности мозга узнать, какую букву или цифру показывают участнику эксперимента. Метод основан на глубоком обучении нейросетей на данных функциональной магнитно-резонансной томографии (фМРТ). По словам авторов, новый подход позволяет гораздо точнее воспроизводить образы, чем другие известные методы. Препринт исследования опубликован на сервере arXiv.org, кратко о нем сообщает MIT Technology Review.

Визуальная информация сетчатки глаза обрабатывается зрительной корой мозга. Первичная зрительная кора, в которую изначально попадает эта информация, состоит из примерно 140 миллионов нейронов. Главная сложность исследования соответствия между визуальными стимулами и активностью мозга состоит в отсутствии методов, способных быстро и с высоким разрешением анализировать активность клеток нервной системы. На сегодняшний момент одним из общепризнанных стандартов является метод фМРТ.

Функциональная магнитно-резонансная томография позволяет определять активность нейронов по изменению кровообращения в мозгу. Она связана с простой закономерностью — увеличение активности конкретной группы нейронов усиливает локальный кровоток к этой области мозга. Вместе с кровотоком увеличивается количество гемоглобина, несущего молекулы кислорода. Такой гемоглобин обладает диамагнитными свойствами (выталкивает магнитное поле), в отличие от парамагнитного (усиливает магнитное поле) деоксигемоглобина. Именно эти изменения в магнитных полях фиксирует фМРТ.

Однако у этого метода есть свои недостатки. В первую очередь концентрация гемоглобина растет с некоторой задержкой (около секунды) по сравнению с ростом активности нейронов. Также, фМРТ анализирует области пространства, размеры которых больше, чем один нейрон. Это воксели (объемные пиксели), в каждый из которых входят тысячи и десятки тысяч нейронов. Еще одна сложность при использовании метода — большое количество шумов в данных и сильная нелинейная корреляция между состояниями соседних вокселей.

При сопоставлении визуальных стимулов (изображений, демонстрируемых в экперименте) и активности вокселей необходимо учитывать эти нелинейные корреляции. Ранее многие методы анализа игнорировали этот аспект. Авторы новой работы воспользовались глубоким обучением чтобы учесть корреляции и отличать их от шумов считывания.

База данных для обучения была построена на данных более ранних экспериментов других научных групп. Ученые собрали более 1800 экспериментов фМРТ, записывавших состояние зрительной коры в ответ на демонстрацию визуального стимула — цифры, буквы или простой геометрической фигуры. 90 процентов этих данных исследователи использовали для обучения нейросети, оставшиеся 10 процентов — для проверки работоспособности методики.


Сравнения ранних методик и нового метода анализа фМРТ. Верхний ряд — визуальные стимулы. Нижний ряд — результат обработки фМРТ с помощью нейросети, обученной авторами. Между ними — результат работы более ранних алгоритмов

Changde Du et al. / arXiv.org, 2017


Сравнения ранних методик и нового метода анализа фМРТ. Верхний ряд — визуальные стимулы. Нижний ряд — результат обработки фМРТ с помощью нейросети, обученной авторами. Между ними — результат работы более ранних алгоритмов

Changde Du et al. / arXiv.org, 2017

По словам ученых, новая методика позволяет получать более контрастные и точные  реконструкции, по сравнению с ранними методами.

Среди возможных применений техники — создание нейроинтерфейсов человек-компьютер. Следующими шагами в развитии метода станет анализ более сложных визуальных стимулов и движущихся изображений. Последнее потребует использования рекуррентных нейросетей. Кроме того, по словам авторов, тот же самый подход с машинным обучением может помочь и в реконструкции другой информации — например, звуковой или моторной.  

Ранее с помощью фМРТ канадские ученые смогли предсказать способности человека к изучению второго языка. Нейрофизиологи из Северозападного университета использовали эту методику для анализа биологической основы эффекта плацебо, а японские исследователи из Brain Information Communication Research Laboratory Group смогли повлиять с ее помощью на оценку незнакомых лиц добровольцами (делая ее положительной или негативной).

Владимир Королёв


Источник: nplus1.ru