Ландшафт потерь: дизайнер показал, где живут и обучаются нейросети

Инженер и креативный директор Хавьер Идеами запустил проект «Ландшафт потерь», в котором он создает визуализации того математического пространства, где живут и обучаются нейросети. Увидеть это математическое пространство обычно не получается, но именно его особенности определяют работу практически любой современной системы искусственного интеллекта — от программ автоматического перевода до систем распознавания лиц и приложений вроде FaceApp.

Свое название проект получил от математической функции потерь — основного параметра, который направляет работу нейросети при обучении. Функция потерь позволяет рассчитать размер ошибки в прогнозе нейросети в данный момент обучения. Эту величину можно также представить как высоту в математическом ландшафте, другие измерения которого отражают связи между нейронами. Чем ошибка больше, тем выше в математическом ландшафте сейчас находится нейросеть. Задача обучения при этом сводится к поиску низшей точки — то есть к спуску с «горы погрешностей» в «долину правильных ответов».

Этот спуск может происходить разными путями, и не всегда выбранный вариант приводит к истинному глобальному минимуму — иногда обучающаяся нейросеть застревает в некоторой долине просто потому, что случайно туда попала из исходной точки. Исследователи стараются наблюдать за этим процессом и не допускать таких ситуаций, — например, искажая ландшафт потерь за счет изменения гиперпараметров — структуры нейросети, числа связей в ней и других ее особенностей.

Задача визуализации пространства обучения для современных сложных нейросетей до сих пор была весьма нетривиальной, однако недавно появились работы, которые позволяют его визуализировать до самого обучения или в процессе стресс-теста и контролировать таким образом возможные ошибки в выборе гиперпараметров.