Двойной спуск, широкие минимумы и стохастический градиентный спуск

Продолжаем делиться с вами полезными материалами на праздники. Сегодня доклад Максима Кодряна «Двойной спуск, широкие минимумы и стохастический градиентный спуск».

В этом докладе Максим попытался связать двойной спуск по эпохам с динамикой модели на поверхности функции потерь: модель претерпевает второй спуск тестового риска именно тогда, когда она движется из изначально обнаруженных узких нестабильных областей к широким хорошо обобщающим минимумам. Мы также рассмотрим неявную регуляризацию стохастического градиентного спуска (Stochastic Gradient Descent, SGD), помогающую нейронным сетям сходиться к подобным широким «однородным» оптимумам.

Источник: www.youtube.com

Комментарии: