Что случилось: нейросеть преобразовала карту мозговой активности в цифровые изображения — научилась понимать, что до этого видел человек.

Что случилось: нейросеть преобразовала карту мозговой активности в цифровые изображения — научилась понимать, что до этого видел человек.

Как: человека поместили в МРТ, показали сцены сериала и передали сканы мозга в нейросеть. Алгоритм преобразовал сканы в числовые массивы, затем визуализировал карту задействованных участков мозга и выдал обработанные данные в виде изображений.

Зачем: это поможет развитию сенсорной нейробиологии. Например, врачи смогут правильно стимулировать мозг и восстанавливать зрение у слепых людей.

Как называется: модель Brain2pix.

Brain2Pix: Полностью сверточная натуралистическая видео реконструкция мозговой активности

Восстановление сложного и динамичного зрительного восприятия на основе мозговой активности остается серьезной проблемой в приложениях машинного обучения к нейробиологии. Здесь мы представляем новый метод реконструкции натуралистических изображений и видео из очень больших функциональных магнитно-резонансных данных с одним участником, который использует недавний успех сетей преобразования изображений в изображения. Это достигается за счет использования пространственной информации, полученной из ретинотопических отображений по всей зрительной системе. Более конкретно, мы сначала определяем, какое положение каждый воксель в конкретной области интереса будет представлять в поле зрения, основываясь на его соответствующем местоположении рецептивного поля. Затем 2D-изображение, представляющее активность мозга в поле зрения, передается в полностью сверточную сеть "изображение-изображение", обученную восстанавливать исходные стимулы с помощью потери функции VGG с помощью состязательного регуляризатора. В наших экспериментах мы показываем, что наш метод предлагает значительное улучшение по сравнению с существующими методами реконструкции видео.

https://www.biorxiv.org/content/10.1101/2021.02.02.429430v1

https://github.com/neuralcodinglab/brain2pix

Источник: github.com

Комментарии: