Что такое GPT-3
GPT-3 (Generative Pre-trained Transformer 3) – наиболее крупная и продвинутая языковая модель в мире от компании OpenAI. Она умеет логично заканчивать повествование, писать развернутые эссе на заданную тему, сочинять стихи и делать перевод.
Нейросеть относится к третьему поколению моделей обработки естественного языка с архитектурой «трансформер», которую представили исследователи из Google Brain в 2017 году (подробнее о трансформерах СБъ писал здесь). Генеративные сети-трансформеры, так же как и языковые модели с другой архитектурой, предсказывают, какое слово появится в тексте. Сети-трансформеры делают это гораздо быстрее своих предшественников, при этом используют меньшие вычислительные мощности. Они хорошо запоминают сложные зависимости между словами и лучше других выделяют наиболее важные слова из контекста. Подробнее об архитектуре и обучении языковой модели можно почитать в нашем материале.
Особенности модели
В отличие от своих предшественников GPT-3 запоминает гораздо больше информации и выдает наиболее связный и логичный текст. Языковая модель обработала 600 гигабайт текста при обучении и сейчас имеет 175 млрд параметров – переменных, от которых зависит точность работы системы. В основном GPT-3 обучали на англоязычных данных разного типа: веб-архив Common Crawl с данными из интернета и триллионом слов, статьи из Википедии и СМИ, книги, стихи, сайты различной тематики. На других языках она пишет не так хорошо, но зато умеет переводить, так как примерно 7% датасета – иностранные тексты.
GPT-3 может по введенному тексту угадать, чего от нее ждут. Например, закончить известную фразу, продолжить логический ряд из названий рок-групп. Она умеет писать неотличимые (ну или почти) от человеческих тексты. Контекст алгоритма выходит за рамки того текста, который предлагает ей пользователь. При генерации ответа GPT-3 использует все материалы, которые прочитала в интернете. Поэтому она может написать развернутое эссе, даже если пользователь ввел лишь одно слово. По той же схеме работает языковая модель YaLM – адаптированная GPT-3 на русском. Проверить ее возможности можете сами в «Балабобе».
Где применяют GPT-3
GPT-3 находится в закрытом доступе, разработчики опасаются вреда, который она может причинить. Сейчас модель используют более трехсот приложений: онлайн-службы поддержки, чат-боты, игры. Бизнес, как правило, использует GPT-3 для написания различных текстов: рассылок, рекламы и т.д. Тем не менее нейросеть все еще может ошибаться, приводить ложные аргументы или генерировать тексты, которые не связаны с реальностью. Разработчики решили устранить этот пробел и научили языковую модель ссылаться на использованные источники.
Кстати, про GPT-3 мы говорили в восьмом выпуске нашего подкаста «Неопознанный Искусственный Интеллект». Вы можете прослушать его на Яндекс.Музыке или прочитать расшифровку выпуска здесь.
Источники
- Конец непредсказуем. Как мы начали говорить с языковыми моделями и что они могут нам рассказать
- Как устроены языковые модели и как они развиваются
- На что способна нейросеть GPT-3
- GPT-3 научили искать ответы в интернете и подкреплять их ссылками на источники
Автор: Лола Самеева