Математике нейросетей уже 83 года. ChatGPT - всего несколько лет

В 1943 году Уоррен Маккаллок и Уолтер Питтс описали математическую модель нейрона: на вход поступают сигналы, проверяется порог, после чего нейрон либо активируется, либо нет.

Обучаться такая система ещё не умела. Но авторы показали главное - сети простых нейронов способны выполнять логические операции вроде AND, OR и NOT. Иными словами, несколько пороговых правил можно соединить в вычислительную систему.

В 1957-1958 годах Фрэнк Розенблатт создал перцептрон, веса которого уже могли изменяться:

предсказание - сравнение с правильным ответом - корректировка весов

Этот цикл до сих пор лежит в основе обучения многих нейросетей.

В 1969 году Марвин Минский и Сеймур Пейперт подробно показали ограничения однослойных перцептронов. Интерес к направлению заметно снизился, хотя историки до сих пор спорят, насколько именно их работа повлияла на начало «зимы ИИ».

Перелом произошёл в 1986 году. Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс продемонстрировали, что обратное распространение ошибки позволяет эффективно обучать многослойные сети и формировать внутри них полезные представления.

С тех пор появились трансформеры, новые методы обучения, миллиарды параметров и огромные вычислительные кластеры.

Но фундаментальные идеи современных нейросетей были опубликованы ещё до появления микропроцессора.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: