Уже широко признано, что область глубокого обучения и применение моделей нейронных сетей для описания функциональных зависимостей берут начало в нейронауке, начиная с работы Маккаллока и Питтса в

Уже широко признано, что область глубокого обучения и применение моделей нейронных сетей для описания функциональных зависимостей берут начало в нейронауке, начиная с работы Маккаллока и Питтса в 1943 году. Эта работа ввела идею о том, что простые компоненты нашего мозга работают вместе, выполняя сложные задачи. В таких моделях линейные комбинации нейронов становятся входами нелинейной функции, что формирует основу того, что сейчас называется моделью нейронной сети.

Следующим крупным прорывом стала работа Розенблатта в 1958 году о модели перцептрона... На современном языке модель перцептрона — это однослойная нейронная сеть.

Когда перцептрон был впервые открыт, он оказал большое влияние, особенно благодаря своей способности учиться на данных способом, подобным человеческому мозгу. Однако вскоре стало понятно, что модель перцептрона имеет ограничения из-за того, что является однослойной нейронной сетью с одним скрытым блоком, что приводит к трудностям при попытке различать сложные данные. В частности, свойства перцептронов были проанализированы в книге Минского и Пейперта в 1969 году. Эти ограничения частично охладили интерес к перцептронам и связанным с ними моделям искусственного интеллекта.

Вторая проблема с нейронными сетями заключалась в обучении: не было эффективного и масштабируемого способа найти веса и смещения. Статья Румельхарта, Хинтона и Уильямса в 1986 году об обратном распространении ошибки разрешила эту проблему, итеративно используя правило цепочки из элементарного математического анализа для получения градиента функции потерь по параметрам модели. Это привело к возрождению интереса к области. Однако развитие снова замедлилось, когда применение к реальным задачам всё больше требовало специальной обработки и тонкой настройки.

Затем история снова изменилась в начале 2000-х годов с ростом вычислительной мощности и увеличением объёмов доступных данных. Графические процессоры (GPU), изначально разработанные для выполнения линейных алгебраических вычислений, необходимых для визуализаций и, в частности, видеоигр, оказались идеально подходящими для вычислений при обучении глубоких нейронных сетей. Возможно, первым прорывом стала работа Крижевского, Суцкевера и Хинтона в 2012 году, в которой свёрточная нейронная сеть (CNN) была успешно обучена классифицировать изображения из крупного набора данных. В этот момент глубокие нейронные сети привлекли внимание многих людей. Ещё одним прорывом стала статья 2017 года, в которой авторы предложили объединить механизм внимания и нейронную сеть прямого распространения в то, что теперь известно как архитектура трансформер; это основа многих очень успешных больших языковых моделей.

Ричард Соуэрс об истории ML

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: