Рождение

Как вы могли догадаться из названия, концепция работы нейросетей базируется на устройстве мозга человека. Он состоит из нейронов, которые обмениваются между собой электрическими сигналами.

Создать машину, имитирующую функции человеческого мозга, учёные пытались с 40-х годов. Но первым, кому это удалось, стал нейрофизиолог Фрэнк Розенблатт. Его нейрокомпьютер «Марк-1», представленный в 1960 году, был основан на понятии перцептрона — базовой модели машинного обучения, которая определяет, относится ли объект к определённой категории.

Нейроны компьютера «Марк-1» состояли не из строчек кода, а из радиоламп и резисторов. Задача устройства состояла в том, чтобы распознавать геометрические фигуры и буквы алфавита. Для начала 60-х это было выдающееся достижение, но его слишком активно стали рекламировать в прессе.

В New York Times писали, что уже через пару лет на базе «Марк-1» появятся компьютеры, способные мыслить, как человек. С этим утверждением не был согласен однокурсник Розенблатта — Марвин Минский. Он сам занимался машинным обучением, имел большой вес в научных кругах и даже был консультантом на съёмках фильма «2001 год: Космическая одиссея» Стэнли Кубрика. А ведь там был HAL 9000 — компьютер с искусственным интеллектом, способный

распознавать речь и зрительные образы, создавать предметы искусства и проявлять эмоции.

В 1969 Марвин Минский и Сеймур Паперт выпустили книгу «Перцептрон», которая надолго отбила у научного сообщества желание заниматься развитием нейросетей.

В книге учёные доказали, что сеть «Марк-1» с двумя слоями почти ничего не умела, а на многослойные сети алгоритмы Розенблатта перенести нельзя — часть информации об ошибках могла бы потеряться, не достигнув нужного слоя.

К сожалению, в 1971 году Розенблатт ушёл из жизни, и дорабатывать устройство было некому. На волне развития классических компьютеров учёные перестали развивать концепцию искусственных нейронов, сконцентрировав силы на более перспективных направлениях.

Несмотря на сокращение финансирования и относительное затишье, в 90-е и начале 2000-х о нейросетях не забывали. Например, был создан метод опорных векторов — техника машинного обучения с учителем для задач классификации и регрессии.

Однако в конце 2000-х всё снова изменилось. Появились вычислительные мощности, которых не хватало для развития нейросетей. Импульсом для этого стало развитие игровой индустрии — игры становились всё сложнее и требовали мощных видеокарт. Оказалось, что геймерские видеокарты отлично подходят для обучения искусственного интеллекта.

В 2012 году произошло знаковое событие для мира нейросетей.

На конкурсе по распознаванию объектов на изображениях ImageNet LSVRP победила нейросеть AlexNet с набором данных ImageNet.

Нейросеть сделала всего 16,4% ошибок, тогда как программа, занявшая второе место, ошиблась в 26% случаев. При этом человек обычно совершает ошибки в 5% случаев.

Самое интересное, что для обучения нейросети-победителя использовали обычный компьютер с двумя видеокартами NVIDIA. На тренировки ушла примерно неделя. База данных для обучения нейросети включала 15 миллионов изображений, распределённых по 22 000 категорий. В неё входили как стандартные объекты вроде машин или домов, так и триста пород собак.

Спустя 10 лет нейросети не просто распределяют фотографии по категориям, но и сами создают их по текстовым описаниям. Думаем, вы уже пользовались Midjourney, DALL-E или Stable Diffusion.

В итоге всё это привело к появлению на свет в 2020 году модели GPT-3, разработанной компанией OpenAI. GPT-3 использует технологию transformer для генерации текста. Эта модель обучается на огромном количестве текстовых данных, таких как книги, статьи, новости и интернет-контент. Она может предсказывать следующее слово в тексте на основе контекста, что позволяет ей генерировать связный текст, который выглядит так, как будто он написан человеком.

При обучении этой модели уже нельзя было ограничиться компьютером с двумя видеокартами. OpenAl использовала кластер из 35 580 GPU и 2,6 миллиона ядер процессора. А в ноябре 2022 года всему миру стал доступен сервис ChatGPT на основе GPT-3, который ознаменовал начало четвёртой революции нейросетей.

Что ждёт нас за горизонтом? Потеря рабочих мест и восстание машин? Или мир, в котором нейросети делают нашу жизнь комфортнее? В такой быстро меняющейся сфере трудно давать прогнозы. Будущее происходит на наших глазах — остаётся только следить за ним.

Источник: vk.com

Комментарии: