История нейросетей

1. Первая теоретическая модель нейрона (1943) - математическая модель искусственного нейрона, названная "пороговым элементом". Создатели Уоррен Маккаллок и Уолтер Питтс. Эта была не полноценная сеть, а модель одной клетки. Они показали, что такая упрощенная модель нейрона может, в теории, выполнять любые логические вычисления (AND, OR, NOT) и, следовательно, имитировать работу любого цифрового компьютера. Это была теоретическая основа для всех последующих нейросетей.

2. Первая практическая и обучаемая нейронная сеть (1957-1958) - устройство под названием Mark I Perceptron. Создатель - Фрэнк Розенблатт. Это была уже первая в мире физически реализованная нейронная сеть, предназначенная для распознавания изображений. Она использовала один слой искусственных нейронов (персептронов) и могла обучаться с помощью простого алгоритма.

Розенблатт впервые продемонстрировал, что машина может "научиться" на примерах, а не просто выполнять заложенную программу. Это вызвало огромный ажиотаж и считается рождением нейросетей как практического направления.

Важный нюанс: В 1969 году Марвин Мински и Сеймур Паперт опубликовали книгу "Персептроны", где математически доказали фундаментальное ограничение однослойного персептрона: он не может решать задачи, которые не являются линейно разделимыми (например, логическую функцию "исключающее ИЛИ" - XOR). Это открытие на десятилетия затормозило финансирование и развитие нейросетей, начав период "зимы искусственного интеллекта".

3. Первая по-настоящему глубокая и успешная сеть (1980-е)

Однослойные сети были ограничены. Прорывом стала идея многослойных сетей. Ключевую роль сыграли Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс. В 1986 году они заново открыли и популяризировали алгоритм обратного распространения ошибки (Backpropagation). Этот алгоритм позволял эффективно обучать сети с несколькими скрытыми слоями, корректируя веса во всех слоях. Это позволило создавать многослойные (глубокие) нейронные сети, которые могли решать нелинейные задачи.

4. Нейросеть, доказавшая практическую пользу и начавшая современную эру (2012).

Современный бум глубокого обучения начался нейросети AlexNet, которая наглядно доказала свое превосходство. Создатели Алексей Крижевский, Илья Суцкевер и Джеффри Хинтон. В 2012 году на престижном конкурсе распознавания изображений ImageNet AlexNet показала ошеломляюще низкую ошибку (15.3% против 26.2% у второго места), использовав для обучения два GPU.

AlexNet на практике показала мощность глубоких сверточных сетей и то, что для их обучения необходимы большие данные и значительные вычислительные мощности. Это событие считается началом современной "революции глубокого обучения".

Таким образом, нейросети — это не изобретение одного дня, а результат долгой эволюции идей, которые смогли реализоваться только при появлении достаточных вычислительных мощностей и больших объемов данных.

Источник: vk.com

Комментарии: