Материалы летней школы Deep|Bayes по байесовским методам в глубинном обучении

Глубинное обучение в последние годы стало ключевым направлением исследований в машинном обучении. Начавшись с архитектурных прорывов, позволявших эффективно обучать глубокие нейросети, оно стало распространяться на другие подобласти, предоставляя набор эффективных средств там, где для решения задачи требуется приближение некоторой сложной функции.

Многие современные исследовательские статьи активно используют байесовский формализм в сочетании с глубокими нейросетями, приходя к интересным результатам. Мы – исследовательская группа BayesGroup с помощью наших друзей из Сколтеха, а так же при поддержке Высшей Школы Экономики, Сбербанка, Яндекса, Лаборатории Касперского, JetBrains и nVidia – решили поделиться накопленным опытом и устроить летнюю школу по байесовским методам в глубинном обучении Deep|Bayes, где подробно рассказать, что такое байесовские методы, как их комбинировать с глубинным обучением и что из этого может получиться.

Отбор на школу оказался весьма сложным занятием – мы получили более 300 заявок от сильных кандидатов, но вместить смогли только 100 (приятно, что среди участников были не только жители Москвы и Петербурга, но и студенты из регионов, а так же русскоговорящие гости из-за границы). Пришлось отказать многим сильным кандидатам, поэтому для смягчения этого прискорбного факта мы решили сделать доступными максимальное количество материалов, которыми и хотим поделиться с хабраюзерами.

День 1

Первый день целиком состоял из вводных лекций – у студентов школы был различный бэкграунд, поэтому нужны были "выравнивающие" лекции. Как минимум, чтобы задать общую терминологию.

День 2

Основной материал второго дня – байесовский вывод в задачах со скрытыми переменными и их масштабирование на сложные задачи.

День 3

В третий день мы взглянули на обучение с подкреплением с байесовской точки зрения, рассмотрели различные подходы к механизмам внимания. Кроме того, обсудили применения мощного аппарата рекуррентных нейронных сетей к различным задачам, а так же трюки, без которых ничего не работает. Увы, из-за технических неполадок эта лекция не была записана.

День 4

Темой четвёртого дня были гауссовские процессы, их масштабирование и байесовская оптимизация, традиционно использующаяся для поиска гиперпараметров. Кроме того, рассмотрели масштабируемые методы Монте Карло как альтернативу вариационному выводу.

День 5

На пятый, заключающий день мы припасли самое интересное – байесовские методы для неявных моделей, скрещивание вариационных автокодировщиков с генеративными состязающимися сетями, оценка неопределённости в нейросетях, а так же автоматическое разреживание нейросетей с помощью вариационного дропаута.

В заключение хочется сказать, что это был наш первый опыт проведения летних школ и, судя по предварительной обратной связи, удачный – многие студенты выразили заинтересованность в помощи с повторной организацией школы в следующем году. Если вы хотите быть в курсе новостей, подписывайтесь на наш канал в твиттере @deepbayes_ru (и на @bayesgroup тоже можете подписаться) и следите за объявлениями.