Что происходит, когда AI может спросить мозг — что он хочет видеть?

Эти изображения, полученные с помощью алгоритма искусственного интеллекта под названием XDREAM могут стимулировать определенные нейроны гораздо лучше чем любая естественная картина.

В апреле 2018 года, в Гарвардской лаборатории, обезьяне (по имени Ринго) показывали странные изображения созданные с помощью алгоритма искусственного интеллекта под названием XDREAM (генеративная глубокая нейронная сеть с генетическим алгоритмом). Который постепенно настраивал их для стимуляции одного конкретного нейрона, в мозге Ринго, в области, которая предположительно специализируется на распознавании лиц.

Генетический алгоритм искал варианты стимулов, которые максимизировали нейронный отклик. Что привело к созданию синтетических изображений объектов со сложными комбинациями форм, цветов и текстур. Изображения иногда напоминали животных или людей, а в других случаях обнаруживались новые узоры, которые не соответствовали какой-либо четкой семантической категории.
Изображения XDREAM выглядят как картины Кандинского. Вы вероятно не захотите вешать их на стену. Но каждая из них близка к идеальному стимулу для конкретного нейрона. И вместе они рассказывают нам кое-что интересное о том, как наш мозг воспринимает мир и как много мы до сих пор не понимаем в этом процессе.

Карлос Понсе (доцент кафедры неврологии Вашингтонского Университета, один из авторов проекта):
«Сначала картины были серыми и бесформенными. Но со временем из этой дымки что-то начало смотреть на нас. Если клетки видят эти изображения — это то, о чем они мечтают. Это раскрывает визуальный словарный запас мозга.»

Первые намеки на этот словарь появились в 1962 году, когда Торстен Визел и Дэвид Хьюбел показали, что определенные нейроны в зрительных центрах мозга настроены на определенные раздражители — свет, движения в определенных направлениях или линии, выровненные определенным образом. С тех пор, другие нейробиологи идентифицировали нейроны, которые реагируют на цвета, искривления, лица, руки и внешние сцены. Но здесь есть одна загвоздка — эти ученые всегда выбирали какую форму проверять и их интуиция может не отражать действительные стимулы на которые настроены нейроны.

Маргарет Ливингстон (профессор нейробиологии Гарвардского университета, одна из авторов проекта):
«То, что клетка реагирует на определенную категорию изображений не означает, что вы действительно понимаете чего она хочет».

Так почему бы не спросить нейроны, что они хотят видеть?

Это была идея проекта XDREAM, алгоритма придуманного студентом Гарварда по имени Уилл Сяо. Наборы этих серых, бесформенных изображений были показаны обезьянам и алгоритм подстраивал и перемешивал те, из них, которые вызывали самые сильные отклики в выбранных нейронах, чтобы создать новое поколение изображений. Сяо обучал XDREAM, используя 1,4 миллиона реальных фотографий, чтобы алгоритм генерировал синтетические изображения со свойствами естественных. За 250 поколений нейросети синтетические изображения становились все более и более эффективными, пока они не возбуждали целевые нейроны гораздо интенсивнее чем любое естественное изображение.

Карлос Понсе:
«Было интересно, наконец, позволить клетке сказать нам, что она кодирует, вместо того, чтобы догадываться».

Однако, существовал риск того, что XDREAM может стать подобием теста Роршаха, в ходе которого люди видят то, что они хотят видеть. Для проверки этого команда использовала другой алгоритм, чтобы подтвердить, что синтетические изображения, которые они опознавали как лица действительно больше похожи на реальные лица чем на другие естественные объекты. Они также показали, что нейроны, которые побуждают XDREAM создавать похожие на лица изображения лучше всего реагируют на фотографии настоящих лиц.

Карлос Понсе:
«Эти изображения настолько хороши в стимуляции визуальных нейронов обезьян, что они также щекочут и наш мозг, таким образом, что мы чувствуем себя некомфортно. Если бы кто-то мог использовать XDREAM на человеческих нейронах, нашёл бы он похожие изображения или другие, и что бы мы о них думали? На данный момент это не сделать. Но это заставляет меня задуматься.»

Маргарет Ливингстон:
«Намекают ли тревожные изображения XDREAM на то, почему так много мифических существ являются преувеличенными версиями знакомых вещей. Зрительные нейроны, похоже, склонны к
преувеличению. Я думаю, что горгульи и гномы, эти архетипы, которые люди воображают… для них есть основа в нашем мозге.»
(В предыдущих исследованиях ее команда показала, что избирательные к лицам клетки будут сильнее реагировать на карикатуры, чем на реальные лица.)

Помимо странности этих изображений самое удивительное в них заключается в том, что они в основном неузнаваемы. Команда исследовала 46 нейронов у шести обезьян, большинство получаемых изображений были смешением цвета, текстуры и формы, которые не вписывались в очевидные категории.

Лейла Исик (невролог из Университета Джона Хопкинса):
«Поразительно, что клетки, которые, как предполагалось, кодируют простые объекты или части объектов могут, фактически, кодировать гораздо более сложные визуальные стимулы. Некоторые могут счесть неудовлетворительным, что сгенерированные изображения не могут быть легко описаны в терминах семантических категорий. Однако, это «ограничение» может быть просто реальностью сложной природы зрительной коры приматов».

Благодаря этим экспериментам исследователи узнают больше не только о самом мозге, но и о том, как имитировать его. Многие нейробиологи разрабатывают искусственные нейронные сети, которые могут анализировать изображения и распознавать объекты, якобы, делая что-то близкое к тому, что делают настоящие зрительные центры мозга. Но как близко?

Чтобы выяснить это, Пуя Башиван (из Массачусетского технологического института) использовал нейронную сеть для создания изображений, которые теоретически должны стимулировать конкретную область мозга особым образом. Его коллеги, Кохитий Кар и Джеймс ДиКарло, затем показали эти синтетические изображения обезьянам, чтобы увидеть, работают ли они так, как предсказывалось.
Результаты были смешанными. Нейронной сети удалось создать изображения, которые стимулируют определенные нейроны сильнее, чем естественные фотографии. Но они были не так хороши для другой задачи: возбуждать один нейрон, подавляя всех его соседей. Это позволяет предположить, что сеть еще не охватывает все, что можно знать о визуальной системе.
Команда Башивана концентрировалась на регионе мозга, который, предположительно, реагирует на простые кривые. Образы, которые создавала его сеть включали сетки, решетки и завихрения. Подобно «галлюциногенным» изображениям XDREAM, эти сложные изображения говорят о том, что наше понимание того, как мозг видит мир — слишком упрощённое.

Пуя Башиван:
«Если мы будем следовать только человеческой интуиции мы можем ошибаться. Лучший путь это создание интеллектуальных систем, которые содержат все знания в этой области.»

Карлос Понсе:
«Как биологи, многие из нас, все еще скептически относятся к тому, что современные нейронные сети достаточно похожи на мозг, чтобы надежно моделировать его. Но это путь вперед и подобные исследования помогут улучшить их. Оба подхода касаются понимания черного ящика — мозга. Оба метода необходимы.»