История нейросетей: от мечты до революции

Когда-то идея создать «машину, похожую на мозг», звучала как фантастика. Сегодня нейросети распознают лица, переводят тексты, управляют роботами и пишут код. Как мы дошли до этого?

1) ? Все началось… с нейрона на бумаге

1943 год.

Два учёных — Уоррен МакКаллок и Уолтер Питтс — публикуют статью, где описывают математическую модель нейрона. Они показали: нейроны можно представить как простые логические элементы, способные передавать сигналы.

Это была первая попытка описать работу мозга через математику.

Но… компьютеры тогда только зарождались, а про обучение моделей никто не думал.

2) ? Появляется перцептрон — первая нейросеть

1958 год.

Американский психолог Фрэнк Розенблатт создаёт перцептрон — устройство, которое могло «учиться» распознавать простые образы (например, различать круг и квадрат).

Перцептрон обучали на карточках с рисунками: показывали примеры, корректировали ошибки. Машина сама подбирала веса связей между нейронами, чтобы давать правильный ответ.

Это был первый шаг к обучаемым моделям, но… были ограничения.

3) ? Застой: «нейросети не могут»

1969 год.

Книга Марвина Мински и Сеймура Паперта «Перцептроны» разбила мечты: учёные доказали, что односвязный перцептрон не способен решать задачи, требующие нелинейных разделителей (например, XOR).

Многие поверили, что нейросети — тупиковая ветвь.

Финансирование упало. Интерес угас.

4) ? Второе дыхание: обратное распространение ошибки

1986 год.

Джеффри Хинтон, Дэвид Румельхарт и Рональд Уильямс открывают метод backpropagation (обратного распространения ошибки).

Теперь нейросеть могла автоматически корректировать все свои слои, а не только первый. Это позволило строить глубокие нейросети и обучать их на сложных задачах.

Революция? Почти. Компьютеров всё ещё не хватало, чтобы обучать большие сети.

5) ? Практическое применение: сверточные сети

1990-е.

Янн Лекун создаёт LeNet — сверточную нейросеть (CNN), которая распознавала рукописные цифры на чеках. Это была первая успешная коммерческая нейросеть.

LeNet работала медленно, но точнее, чем любые предыдущие методы.

6) ? Большой взрыв: глубокое обучение

2012 год.

На конкурсе ImageNet сеть AlexNet (созданная студентами Хинтона — Крижевским и Суцкевером**) разгромила соперников, улучшив точность классификации изображений на **10% сразу.

Почему получилось?

• Были большие данные (ImageNet — 1,2 млн изображений)

• Были мощные GPU

• Были методы dropout, ReLU и хорошее понимание backpropagation

С этого момента deep learning стал мейнстримом.

Компании вроде Google, Facebook, Microsoft начали инвестировать миллиарды.

7) ? Нейросети сегодня: GPT, Stable Diffusion, AlphaFold

Сейчас нейросети умеют:

• писать тексты (GPT)

• рисовать картины (Stable Diffusion, Midjourney)

• предсказывать белковые структуры (AlphaFold)

• водить машины (Tesla Autopilot)

Размер моделей растёт: от 10 нейронов в перцептроне — до 500 миллиардов параметров в GPT-4.

8) ? Что дальше?

Мы прошли путь от искусственного нейрона — до машин, которые иногда ведут себя пугающе «человечно».

И это — только начало.

Кто знает, где мы окажемся через 10 лет?

А нейросети продолжают учиться.

И, возможно, скоро они напишут продолжение этой истории сами.

Если понравился рассказ — поделись с друзьями, чтобы они тоже узнали, как всё начиналось!

Хочешь отдельную статью про GPT, CNN или AlphaFold? Пиши!

Источник: vk.com

Комментарии: