Адаптивные стохастические градиентные методы: теория и практика

В докладе мы поговорим об адаптивных градиентных методах и об их стохастических расширениях. Мы обсудим самые популярные теоретические и эвристические приемы для ускорения градиентного спуска. Отдельное внимание мы уделим противоречиям между теорией и практикой, особенно ярко возникающим при обучении нейросетей. Доклад будет базироваться на ряде статей последних лет, включая несколько появившихся в 2020 году.

Базируясь на них, мы сформулируем несколько открытых проблемы в оптимизиации и обсудим, как можно пытаться их решить. Перед докладом рекомендуется ознакомиться с базовыми определениями такими, как выпуклость функции и ее градиент.

Источник: vk.com

Комментарии: