Machine Learning: всё новое – хорошо забытое старое

Основы современного машинного обучения и анализа данных были заложены добрых 200 лет назад. Тут нечему удивляться. Например, основам топологического анализа данных, который ещё не стал так популярен, потому что вычислить фундаменталку сложнее, чем производную, чуть более 100 лет. Интересно, что ML вбирало в себя не только математику: линейная алгебра, анализ, статистика, оптимизация, но и заимствовало идеи из теории информации, обработки сигналов и теории управления. Это и не удивительно, так как многие известные методы были мотивированы исследованиями, основанными на данных. В 1795 году 18-летний Гаусс подгонял гиперплоскости под астрономические данные и открыл метод наименьших квадратов (типичный день ML-инженера в 1795 году). А чтобы избегать утомительных вычислений разработал рекуррентное решение для метода наименьших квадратов. В 1822 году Фурье открыл преобразование, названное в его честь, для преобразования данных из одной области в другую. Кули и Тьюки в 1965 году адаптировали это преобразование под электронные устройства, разработав быстрое преобразование Фурье.

Де Муавр в 1730 году и Лаплас в 1812 году работали над центральной предельной теоремой, которая касается предельного распределения средних значений больших объемов данных. Основы современного статистического анализа были заложены Колмогоровым в 1939 г. Этот подход усовершенствовал Калман в 1960 г. Фильтр Калмана применяется и по сей день, в том числе в финансовом анализе рынков.

Всем любимый градиентный спуск зародился в работах Коши в 1847 г., а Роббинс и Монро в 1951 г. довели его до ума. Позже их методы переросли в теорию стохастической аппроксимации. Затем следовали работы Розенблатта 1957 года об алгоритме перцептрона и ?-правило Уидроу и Хоффа в 1960 году, более известное как LMS-алгоритм. Кульминацией на этом поприще стал метод обратного распространения Вэрбоса, 1974 год, который появился из желания увеличить аппроксимационную мощность однослойных сетей.

Сейчас многие из упомянутых методов образуют основу современных алгоритмов обучения. Поэтому, если смотреть шире, ML не так молодо, как может казаться, и основу его составляет математика: векторные пространства, матричные разложения, численные методы, методы оптимизации и многое другое. Поэтому на курсе «Математика для ML & DS» мы будем последовательно изучать все мат. кирпичики, из которых выстроен фундамент ML, а после каждого блока будем рассматривать, как изученные методы оживают в методах ML. Мы расскажем, как устроены математические модели абстрактных нейронов и трансформеров, как работают рекуррентные и свёрточные нейронные сети. 

Телеграм: t.me/ainewsline

Источник: laplascourses.ru

Комментарии: