Deep Learning program

Я уже писал на эту тему тут. С тех пор прошло прилично времени, и я теперь знаю чуть больше, чем тогда — этим и делюсь :)

Есть такой замечательный преподаватель у нас в КФУ — Разинков Евгений Викторович, он читает лекции по Computer Vision, Machine Learning и Deep Learning. Ну а это как раз те вещи, которыми занимаюсь я :)
Его телеграм-канал: t.me/razinkov_ai

В комментариях я выложу pdf-файл с программой экзаменационного курса Евгения по DL для магистрантов. Лекции как по этому курсу DL(на момент написания поста — только две лекции), так и по другим темам — есть на youtube-канале Евгения — http://video.razinkov.ai

Prerequirements:

1) Линейная алгебра — ну хотя бы матрицы перемножать уметь надо, понимать, что такое транспонирование :)

2) Математическая статистика. Конкретнее по темам:
-Точечные оценки, их виды. Можно почитать тут. Для чего? Для того, чтобы въехать в функции риска (в глубоком обучении — это функции потерь), въехать в принцип максимального правдоподобия.

-Принцип максимального правдоподобия, оценка параметров распределений(например, нормального распределения) с помощью принципа максимального правдоподобия. Тут конкретного посоветовать не могу, просто серч в инете. Для чего? На основе этого принципа выводятся функции потерь для различного рода задач в DL.

-Распределения, виды распределений, их параметры, функции плотностей и вероятностей. Тут просто серч в инете. Самое главное — нормальное распределение :)

Тут одно и очень большое но! Для того, чтобы въехать во все эти темы в мат. статистике — нужно копнуть чуть глубже и изучить весь тот фундамент, который лежит под этими темами. Проще — изучить курс теории вероятностей и математической статистике. Посоветую лишь курс по теории вероятностей от Андрея Райгородского. После него дальше изучать теорию вероятностей и мат. статистику будет куда легче :)

3) Machine Learning — базовые вещи, которые послужат фундаментом в Deep Learning. С темами и их содержанием можно ознакомиться на youtube-канале Евгения. Первых пяти лекций вполне хватит, чтобы въехать в DL.

Конкретно от себя посоветую:

Разобраться в дивергенции Кульбака-Лейблера и в том, почему мы, минимизируя кросс-энтропию, на самом деле минимизируем именно эту дивергенцию. Об этом, и не только, я писал тут.

Изучить, что такое vanishing/exploding gradient problem и как с этим бороться.

Понять инициализации/техники весов для нейронных сетей. Если Евгений на своем курсе этот момент весьма подробно разберет, то будет круто. Иначе — arxiv.org в помощь :)

backpropagation написать ручками для кастомной fully-connected нейронной сети, как я писал тут. Когда-нибудь у меня руки дойдут сделать тоже самое со сверточными нейронными сетями, но это уже совсем другая история :)

Источник: m.vk.com

Комментарии: