Нейросеть GPT-3 от OpenAI пишет стихи, музыку и код. Почему она пока далека от настоящего ИИ, но способна поменять мир Материал редакции

Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто связывает уже созданные людьми данные.

В мае 2020 года OpenAI представила третью версию языковой модели GPT, которая позволяет генерировать текст, который не всегда можно отличить от того, что написал бы человек. В июле доступ к нейросети начали выдавать отдельным желающим, которых одобрили в компании, а разработчики в соцсетях начали восторгаться возможностям системы.

TJ рассказывает, в чём отличия GPT-3, на что способна нейросеть и почему пока далека от настоящего ИИ, но уже может всерьёз изменить жизнь людей.

На момент написания этого материала GPT-3 представляла собой самую сложную языковую модель. Среди других подобных алгоритмов её выделяет «натренированность»: система обучена на 1,5 триллионах слов, а её самая крупная версия занимает около 700 гигабайт.

GPT-3 генерирует текст на основе 175 миллиардов параметров — это значение отражает её вычислительную мощность. В зависимости от количества параметров система лучше или хуже оценивает данные и придаёт каким-то из них большее значение, а каким-то меньшее.

Суть работы нового алгоритма по сравнению с прошлой версией не изменилась. Нейросеть анализирует огромные массивы данных из интернета и на их основе пытается предсказать текст слово за словом, но ей всё равно нужна точка отсчёта — какой-то запрос, с которым можно работать.

Причём, чем больше входных данных дать системе и чем больше у неё будет попыток, тем убедительнее может получиться текст. Например, если дать ей начало известной поэмы в стиле одного автора, она сможет продолжить её в стиле другого.

GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2. Обе первые версии системы были адаптацией Transformer — алгоритма Google, который впервые применили в 2017 году. Его ключевой функцией было «внимание» — возможность вычислять вероятность появления того или иного слова среди других слов.

OpenAI развивала свои модели вокруг этой функции, постоянно наращивая количество параметров. В 2019 году GPT-2 уже работала с 1,5 миллиардами параметров и угодила в скандал. Тогда алгоритм научили генерировать фейковые новости и не стали сразу выпускать в открытый доступ, опасаясь вреда, который он может нанести.

В GPT-3 параметров стало в сто раз больше, а для обучения авторы использовали вдвое больше данных, чем в GPT-2. В OpenAI утверждают, что это позволило добиться «мета-обучения»: например, нейросети не нужно каждый раз переобучаться, чтобы закончить предложение — если дать ей пример, она продолжит завершать все незаконченные предложения.

GPT-3 нельзя свободно использовать: пока OpenAI даёт доступ только отдельным разработчикам и исследователям в рамках закрытого бета-теста — для этого нужно заполнить объёмную заявку и дождаться её рассмотрения. Но даже после окончания тестирования нейросеть не выпустят в открытый доступ — её планируют продавать для бизнеса по подписке.

Хотя доступ к системе получили лишь немногие желающие, меньше чем за месяц алгоритм успели протестировать в самых разных сценариях: от написания песен, до создания кода и музыкальных аранжировок. По словам одного из испытавших систему разработчиков, в большинстве случаев система выдаёт убедительный результат если не с первой, то со второй или третьей попытки.

В основном, с помощью GPT-3 генерировали обычный текст: истории, песни, пресс-релизы и техническую документацию. Но один из разработчиков пошёл дальше и попросил нейросеть написать текст о самой себе — получилась статья с заголовком «GPT-3 от OpenAI может стать величайшим явлением после Bitcoin».

В материале автор рассказывал, что обучил нейросеть на собственных постах с форума bitcointalk, а потом публиковал записи, сгенерированные алгоритмом, и этого никто не заметил. Но в конце разработчик признался, что история выдумана и её написала GPT-3, хоть и не с первой попытки.

Другие разработчики обнаружили, что GPT-3 может генерировать любой вид текстовой информации, в том числе табулатуры для гитары и компьютерный код. Так разработчик Шариф Шамим показал, что система может работать с HTML-разметкой вместо естественного языка и создавать вёрстку по текстовым запросам. Например, можно сказать, какая кнопка и оформление должны быть у сайта — и нейросеть их визуализирует.

Помимо этого, с помощью GPT-3 Шамим создал простой генератор приложений на основе React. Достаточно написать, что должна делать программа: алгоритм сам переведёт запрос в несложный код.

Другой разработчик создал плагин для Figma на основе GPT-3, который позволяет создавать дизайн, просто давая нейросети текстовое описание.

Некоторые спрашивали у GPT-3 сложные технические вопросы, и получали корректные пояснения. Так один из разработчиков задал вопрос на медицинскую тематику, указал нейросети на корректный ответ и получил от неё развёрнутое пояснение, почему именно этот вариант ответа верный.

Один из разработчиков создал полнофункциональный поисковый движок на основе GPT-3. Он выдаёт конкретный ответ на любой вопрос и позволяет сразу узнать подробности в Википедии или в другом ресурсе, связанном с вопросом.

В одном из примеров американский студент две недели публиковал в блог тексты об успехе и мотивации, сгенерированные GPT-3. Из любопытства он запустил продвижение блога и получил 26 тысяч посетителей, из которых почти никто не догадался, что тексты написаны алгоритмом, а тех, кто догадался, минусовали другие пользователи.

Авторы бесплатной текстовой квест-игры AI Dungeon также получили доступ к GPT-3 и обновили приложение. Они утверждают, что после этого игроки получили полную свободу действий: система корректно реагирует на все запросы и придумывает мир на их основе.

Среди других примеров — чат-бот для изучения языков, который позволяет разговаривать на выбранном языке и корректирует пользователя, если тот допускает грамматическую или стилистическую ошибку. Помимо этого, система может корректно рассчитывать химические реакции, поговорить о боге и позволяет обращаться к SQL с помощью запросов на естественном языке и не только — разработчики создали отдельный сайт, на котором собирают примеры использования GPT-3.

В последние годы искусственным интеллектом стало принято называть практически всё, что касается нейросетей и алгоритмов машинного обучения — так проще и многим журналистам, и пользователям, которые не связаны с разработкой. Однако на самом деле до настоящего ИИ человечеству ещё далеко, а в GPT-3 нет, собственно, «интеллекта».

Хотя многие первые пользователи GPT-3 говорили, что алгоритм пишет текст, неотличимый от человеческого, и выдаёт осмысленные предложения, на самом деле внутри это всё тот же генератор текста по запросу — со всеми достоинствами и недостатками. Многие ошибочно считают, что система «понимает» контекст: на самом деле она оценивает связи между отдельными словами и расставляет наиболее вероятные слова друг за другом.

Как отметил исследователь в области ИИ Джулиан Тогелиус, зачастую GPT-3 ведёт себя как студент, который не подготовился к экзамену заранее и теперь несёт всякую чушь в надежде, что ему повезёт. «Немного известных фактов, немного полуправды, и немного откровенной лжи, соединённые воедино, на первый взгляд кажутся стройной историей», — пояснил разработчик.

Отсутствие «интеллекта» в подобных GPT-3 моделях подтверждается и исследованиями. В 2019 году команда учёных из Школы Пола Аллена и Вашингтонского университета выяснила, что даже самые лучшие языковые алгоритмы можно легко поставить в ступор, задавая всё более абсурдные вопросы.

В результате исследователи пришли к выводу, что ни одна нейросеть просто не понимает контекст беседы, поэтому не может нормально реагировать на глупые вопросы. По их данным, производительность людей в продолжении фраз составляет 95%, а у машин — ниже 50% для любой модели, включая Google Bert, похожий на GPT-2.

В этом смысле GPT-3 не слишком превосходит, к примеру, «нейрокомментарии», которые тоже могли продолжить фразу за пользователей. Иногда везло и получалось смешно, но чаще — абсурдно и неуместно: до нормального варианта можно было кликать достаточно долго.

Исследователи считают, что подход в наращивании параметров и данных для обучения моделей сам по себе может оказаться неверным. По оценкам учёных, если не улучшить сами алгоритмы, достижение человеческой производительности в написании текстов займёт у машин примерно 100 тысяч лет.

С критикой согласны и создатели GPT-3: авторы проекта с самого анонса писали, что у системы есть недостатки — в том числе в достижении значимой точности понимания связей между двумя предложениями. По их словам, система справляется с такими вещами «чуть лучше, чем случайно».

Как поясняли в OpenAI, создатели сами не до конца понимают, почему у GPT-3 не получается справиться с некоторыми задачами, несмотря на увеличение числа параметров. В конце концов авторы проекта пришли к выводу, что расширение модели с помощью большого количества данных и попытки предсказать язык могут быть в корне неверным подходом.

После начала закрытого тестирования GPT-3 один из сооснователей OpenAI Сэм Альтман даже попытался успокоить шумиху вокруг нейросети. Он пояснил, что команде приятно получить столько внимания, но у системы «есть серьёзные недостатки и иногда она делает глупые ошибки».

Однако недостатки GPT-3 не влияют на полезность нейросети как прикладного инструмента. Хотя алгоритм пока не может заменить человека, он может серьёзно упростить жизнь людям в целом.

Даже по первым примерам от небольшой части разработчиков видно, как много разных применений можно найти GPT-3 и сколько сложных задач она может облегчить. Уже в 2020 году OpenAI запустит коммерческую версию инструмента, а значит совсем скоро обычные пользователи столкнутся с продуктами на его основе.

Сложно сказать, насколько далеко зайдёт внедрение системы, но её можно будет использовать почти в любой деятельности: от обучения языкам и программированию до упрощения ежедневной рутины. Например, легко представить, что через год достаточно будет «скормить» этот материал какому-нибудь боту на основе GPT-3 и получить в ответ десять вариантов заголовка лучше, чем нынешний за доли секунды — останется лишь выбрать самый подходящий.