Самый мощный алгоритм генерации текстов OpenAI GPT-3

В мае 2020 года лаборатория OpenAI представила алгоритм GPT-3. Он умеет по нескольким примерам выполнять множество заданий, прямо или косвенно связанных с текстом: писать стихи и новости, переводить, решать примеры, давать описания, разгадывать анаграммы, структурировать информацию и даже программировать.

Модель GPT-3 основана на той же архитектуре, что и предыдущая модель GPT-2, но в 116 раз сложнее: в ней используется 175 млрд параметров — вторая по мощности языковая модель Microsoft Turing-NLG содержит 17 млрд параметров, в GPT-2 1,5 млрд.

GPT-3 обучена на 570 ГБ текстовой информации, размер обученной модели — около 700 ГБ. В массив для обучения вошли данные открытой библиотеки Common Crawl, вся «Википедия», датасеты с книгами и полезные тексты с сайтов WebText.

В результате модель может писать тексты на английском языке практически неотличимые от человеческого уровня — по этой причине OpenAI не открывает полный доступ к модели, так как боится, что технологию можно использовать для дезинформации.

В июне OpenAI открыла частный доступ к инструментам для разработчиков (API) и модели GPT-3, представила собственные примеры использования алгоритма и запустила «игровую площадку».

Постепенно OpenAI подключает к GPT-3 всё больше разработчиков, которые демонстрируют возможности модели — и чем больше его изучают, тем масштабнее и интереснее возникают проекты.

Вот несколько примеров от OpenAI, энтузиастов и крупных компаний.

Вёрстка макета в Figma по описанию

Дизайнер Дордан Сингер разработал прототип плагина для Figma, который рисует макеты по текстовому описанию. Ему удалось обучить GPT-3 генерировать JSON-данные по текстовому описанию приложения и компонентов, а затем перевести их на макет Figma.

https://t.co/OzW1sKNLEC

Вёрстка веб-компонентов по описанию

Разработчик Шариф Шамим по паре примеров кода и текстовому описанию научил GPT-3 создавать веб-элементы — достаточно написать алгоритму запрос вида: «зелёная кнопка и заголовок с текстом “Подписаться на рассылку”».

https://t.co/w8JkrZO4lk

На базе GPT-3 Шамим запустил проект Debuild — это генератор React-приложений по текстовому запросу. Доступ к нему можно получить, заполнив Google-форму.

С помощью GPT-3 Шамиму удалось создать простой менеджер задач — его код алгоритм сгенерировал самостоятельно.

https://t.co/QGrClar03s

И простой калькулятор финансов:

https://t.co/UUKSYz2NJO

Текстовая игра AI Dungeon генерирует продуманный мир без ограничений

AI Dungeon — бесплатная текстовая игра, в которой созданием мира, событиями и взаимодействием с игроком занимается искусственный интеллект на базе алгоритма Open AI GPT-2. Для работы AI Dungeon пользователю нужно вводить команды в текстовый блок, а игра реагирует на них, понимает контекст и адаптируется.

Создатели обновили её и перевели на GPT-3, что дало игрокам ещё больше возможностей. Теперь в игре нет ограничений: игрок вправе задать любую команду, на которую корректно отреагирует алгоритм и изменит игровой мир.

Игра может сгенерировать полноценную историческую и магическую системы, теории и правила, по которым работает мир, даёт персонажам воспоминания, а игроку — полную свободу действий, подстраиваясь под его действия и желания.

Создание списков по нужным данным

На примере GPT-3 генерирует список публичных ИТ-компаний по трём параметрам: название, тикер на бирже и год основания компании.

https://leonardo.osnova.io/c8265b3c-4352-62cf-f420-c8c97b809ecb/-/format/mp4/

Ещё одна текстовая функция — разбор неструктурированных данных.

Поиск информации с запросом на естественном языке

Для работы GPT-3 достаточно открыть страницу в «Википедии» и задать вопрос по теме.

https://leonardo.osnova.io/ec54cacd-1a35-0293-b1ec-ebb145dc5d62/-/format/mp4/

Автоматическая написание кода по комментариям

Microsoft и OpenAI показали пример автоматического написания кода на Python — программисту было достаточно написать комментарий на естественном языке с описанием задачи.

Модель была обучена на репозиториях GitHub и задействовала облачный суперкомпьютер Microsoft.

Читать далее: https://vc.ru/ml/143516-kod-statya-verstka-i-muzyka-chto-uzhe-mozhet-sozdat-po-opisaniyu-samyy-moshchnyy-algoritm-generacii-tekstov-openai-gpt-3

Источник: vc.ru

Комментарии: