Notes on Deep Learning Theory

Школа анализа данных выложила в открытый доступ конспект курса по теории глубинного обучения. Он может быть полезен тем, кто хочет глубже разобраться в том, как работают нейронные сети ??

В конспекте рассматриваются следующие темы:

— Инициализация нейронных сетей

(кто-нибудь смотрел, как инициализируются сети в pytorch или tensorflow, и почему именно так?);

— Поверхность функции потерь

(почему градиентный спуск — локальный поиск! — способен сколь угодно снизить ошибку на обучении?);

— Обобщающая способность

(почему сеть обученная на одной выборке, хорошо — или плохо — работает на другой?);

— NTK-теория

(какова связь нейронных сетей с ядровыми методами и что она даёт?).

Источник: arxiv.org

Комментарии: