Оптимальное представление входных данных в нейронных системах на грани хаоса

Одна из попыток объяснить, почему нейронные сети зачастую работают в критическом - безмасштабном и самоподобном - режиме, на границе между порядком и хаосом. Для этого искусственной нейронной эхо-сети (одной из разновидностей резервуарных сетей) давали распознавать изображения из базы MNIST и выяснили, что на границе между упорядоченным и хаотическим режимами в характере работы сети происходят сразу несколько важных изменений.

Работа сети была устроена следующим образом: каждая двумерная картинка представляется как последовательность одномерных картинок - вертикальных колонок пикселей - которые одна за другой подаются на нейроны резервуара. В резервуаре, представляющем собой 2000 случайно соединенных между собой нейронов, во время подачи этих сигналов идет некая сложная нелинейная динамика, которую пытаются аппроксимировать наилучшим способом линейной марковской динамикой, задаваемой матрицей W_x. Эта самая матрица W_x служит входным сигналом для выходной (считывающей) однослойной нейросети, веса которой уже подвергаются обучению.

Работа нейронной сети характеризовалась двумя важными величинами: показателем ? спадания активности ковариационной матрицы и максимальным показателем Ляпунова ?. Первая величина находится так: проводим анализ главных компонент над временным рядом активностей резервуарных нейронов и выстраиваем дисперсии (собственне значения ковариационной матрицы) по убыванию. Оказывается, что они хорошо описываются степенным законом n^(-?), где номер n = 1,2,3,... отсчитывается по убыванию дисперсии.

Вторая величина ? описывает экспоненциальное разбегание траекторий динамики резервуара. Главный управляющий параметр, от которого зависит поведение нейросети - это спектральный радиус ?

(максимальное собственное значение) матрицы весов внутрирезервуарных соединений.

Главные результаты показаны на графике справа. При ? < 1.75 режим работы нейросети можно назвать упорядоченным: показатель Ляпунова ? отрицателен, то есть динамика работы резервуара затухающая, и при этом ? < 1. Последнее означает - это не такой уж тривиальный факт, который отдельно доказывается математически! - что вырабатываемое нейросетью внутреннее представление входных данных ("нейронный код") не является гладким (непрерывным и дифференцируемым) по входным данным. Более того, медленное спадание дисперсий n^(-?) при ? < 1 означает, что нейросеть придает большое - даже излишнее - значение мелким деталям входных данных, упуская из вида крупные черты. Так сказать, "не видит за деревьями леса".

При ? > 1.75 режим становится хаотическим: показатель Ляпунова ? > 0 дает экспоненциальное разбегание близких траекторий, характерное для хаотической системы, а ? > 1 означает, что внутреннее представление входных данных является гладким, что делает нейросеть устойчивой к их малым вариациям. Такое свойство связывают с устойчивостью сети к атакам злоумышленников, пытающихся ее обмануть.

Синие точки на графике - точность распознавания рукописных цифр из базы MNIST - показывают, что наилучшие результаты достигаются чуть ниже границы между упорядоченным и хаотическим режимом. Видимо, это не является простым совпадением, и работа нейросети в критическом режиме, на самой границе хаоса, дает серьезные преимущества. Недаром эксперименты на мышах показывают, что зрительная кора их головного мозга тоже работает в критическом режиме.

Таким образом, как видно из этой статьи, при работе нейронной сети в критическом режиме возникают сразу несколько замечательных явлений. Во-первых, динамика сети становится очень чувствительной к вариациям входных данных, но не слишком чувствительной - чтобы не впадать в хаотичные припадки от малейших их изменений. Во-вторых, нейросеть уделяет должное внимание деталям входных данных на всех масштабах, от самых мелких до самых крупных, не впадя ни в крайность "не вижу за деревьями леса", ни в противоположную крайность "не вижу деревьев за лесом". Наконец, в критическом режиме ресурсы сети, по-видимому, используются оптимальным образом, без избыточности и дублирования одними нейронами функций других.

Источник: arxiv.org

Комментарии: