CORnet-S: нейросеть моделирует работу мозга при распознавании объектов

CORnet-S — это нейросеть, которая распознает объекты похожим на мозг примата образом.  Архитектура CORnet-S похожа на устройство вентрального визуального потока приматов. Вентральный поток отвечает за распознавание и классификацию наблюдаемого объекта. Для сравнения модели с мозгом вводится метрика Brain-Score. Помимо CORnet-S, DenseNet и ResNet архитектуры получили наиболее высокий Brain-Score.

Метрика похожести модели на мозг

Исследователи опирались на гипотезу о двух потоках обработки зрительной информации. Основная идея модели в том, чтобы объединить машинное обучение и нейронауку. Для этого исследователи ввели метрику похожести модели на мозг (Brain-Score). Ниже видно, что наиболее схожими с мозгом являются DenseNet, CORnet-S и ResNet архитектуры. Brain-Score измеряет, как хорошо модель предсказывает нервный отклик в зонах мозга, которые отвечают за распознавание объекта и его категории (V4 и IT). В Brain-Score модель сравнивается с зонами зрительной коры примата.

Архитектура CORnet-S состоит из 4 зон, которые соответствуют зонам кортикальной системы —  V1, V2, V4 и inferior temporal cortex (IT) в вентральном потоке. V1 — это полносвязный кодировщик, который снижает размерность входного изображения. V2, V4 и IT рекуррентны внутри слоя. Это дает возможность сократить количество слоев модели и добавить skip-связи. Решение добавить skip-связи следует из того, что ResNets и DenseNets архитектуры получили высокий Brain-Score. Подробное описание эксперимента и мотивации за разработкой модели можно найти в оригинальной статье.

CORnet-S vs. state-of-the-art в распознавании объектов

Исследователи сравнили CORnet-S с стандартными подходами для распознавания объектов: AlexNet, VGG, ResNet, Inception, SqueezeNet, DenseNet, MobileNet и (P)NASNet. Ниже видно, что CORnet-S при наиболее высоком Brain-Score не обходит топ-модель для ImageNet. Наиболее схожие с CORnet-S результаты имеют DenseNet и ResNet.