На днях состоялся семинар в Центре ИИ #СПбГУ, посвященный нейронным сетям

На днях состоялся семинар в Центре ИИ СПбГУ, посвященный нейронным сетям. Участники погрузились в неожиданную аналогию между глубоким обучением и теорией информации. Семинар посетил Максим Амосов и Павел Кляузов, изучающие технологии искусственного интеллекта в "Клубе искусственного интеллекта" Гимназии №642 "Земля и Вселенная" под моим руководством. Главным героем встречи стал доклад кандидата физико-математических наук, старшего преподаватель кафедры информатики СПбГУ Сергея Игоревича Салищева. Сергей Игоревич рассказал, как можно рассматривать нейронные сети в качестве системы декодирования кодов с исправлением ошибок. В докладе классификация с помощью softmax была представлена как процесс декодирования сообщений, искажённых шумом в канале связи. В центре обсуждения оказалась метафора "фарш наоборот" - идея о том, что по обученным весам сети можно восстановить исходный объект, который сеть научилась распознавать.

Один из ключевых результатов, представленных в докладе, касается поведения softmax-слоя в точке оптимума. Оказывается, что выход softmax даёт нулевой градиент, что полностью соответствует теореме Ферма о минимуме целевой функции. Иными словами, когда модель достигает идеального разделения классов, градиенты замирают - сеть нашла стационарную точку, где логарифмическая функция потерь минимальна.

Сергей Игоревич обратил внимание на интересную закономерность: чем меньше кодовых слов (нейронов) используется в последнем слое, тем сильнее проявляется эффект кластеризации. На реальных архитектурах это выражается в том, что облако признаков каждого класса стягивается к своему "кандидату"- весовому вектору, соответствующему данному классу. Такая визуально интерпретируемая структура подтверждает, что сеть не просто запоминает ответы, а формирует компактное и геометрически правильное представление данных.

Кульминацией обсуждения стал эксперимент, демонстрирующий возможность извлечения объекта из весов сети. Оказалось, что по значениям обученных параметров можно восстановить изображение, которое будет узнаваемо для человека. Это открывает путь к новым методам интерпретации моделей и визуализации того, что именно "поняла" нейросеть о каждом классе.

Участники семинара отметили, что предложенный подход не только элегантно объясняет известные феномены (например, нейронный коллапс), но и даёт практические инструменты для сжатия моделей, дистилляции знаний и анализа устойчивости классификаторов. Следующие встречи обещают быть не менее захватывающими - теория кодирования всё глубже проникает в мир глубокого обучения.

Источник: vk.com

Комментарии: