Архитектура ChatGPT

ChatGPT (Generative Pre-trained Transformer, «генеративный предварительно обученный трансформер») — чат-бот с генеративным искусственным интеллектом, разработанный компанией OpenAI и способный работать в диалоговом режиме, поддерживающий запросы на естественных языках.

Система способна отвечать на вопросы, генерировать тексты на разных языках, включая русский, относящиеся к различным предметным областям. Важной особенностью является возможность генерации по запросу программ на различных языках программирования.

В настоящее время ChatGPT — большая языковая модель, для тренировки которой использовались методы обучения с учителем и обучения с подкреплением. Данный чат-бот основывается на другой языковой модели от OpenAI — GPT-3.5 — улучшенной версии модели GPT-3.

14 марта 2023 года была выпущена языковая модель GPT-4, доступная тестировщикам и платным подписчикам ChatGPT Plus. В новой версии у ИИ появилась возможность обработки не только текста, но и изображений.

Первоначально ChatGPT была запущена 30 ноября 2022 года и привлекла внимание своими широкими возможностями: написание кода, создание текстов, возможности перевода, получения точных ответов и использование контекста диалога для ответов, хотя его фактическая точность и подверглась критике.

В начале февраля 2023 года Reuters со ссылкой на швейцарский холдинг UBS сообщило, что всего за 2 месяца аудитория активных пользователей ChatGPT достигла 100 млн человек. Этим самым приложение установило исторический рекорд по росту посетителей.

Доступ к сервису ограничен в таких странах как: Китай, Россия, Белоруссия, Афганистан, Венесуэла, Туркменистан, Иран. Также ранее сервис не был доступен для жителей Украины и Италии.

19 мая 2023 года было выпущено официальное приложение ChatGPT для операционной системы iOS. 26 июля 2023 года вышло официальное приложение чат-бота для Android, доступное пока что только в Индии, США, Бразилии и Бангладеш.

С весны 2023 года, в связи с ростом беспокойства общественности по поводу быстрого развития технологий ИИ, обучение новой модели нейросети — ChatGPT-5 в настоящее время не ведётся.

ChatGPT была доработана поверх GPT-3.5 с использованием методов обучения как с учителем, так и с подкреплением. В обоих подходах использовались люди-тренеры для улучшения производительности модели. В случае обучения с учителем модель была снабжена беседами, в которых тренеры играли обе стороны: пользователя и помощника по искусственному интеллекту. На этапе подкрепления инструкторы-люди сначала оценивали ответы, которые модель создала в предыдущем разговоре. Эти оценки были использованы для создания моделей вознаграждения, на которых модель была дополнительно доработана с использованием нескольких итераций Proximal Policy Optimization. Алгоритмы Proximal Policy Optimization имеют преимущество по затратам по сравнению с алгоритмами Region Policy Optimization; они сводят на нет многие дорогостоящие в вычислительном отношении операции с более высокой производительностью. Модели были обучены в сотрудничестве с Microsoft на их суперкомпьютерной инфраструктуре Azure.

По сравнению со своим предшественником, InstructGPT, ChatGPT пытается уменьшить количество вредных и вводящих в заблуждение ответов. Например, в то время как InstructGPT воспринимает сообщение о том, что Христофор Колумб прибыл в США в 2015 году как правдивое, ChatGPT использует информацию о путешествиях Колумба и информацию о современном мире, включая восприятие личности Колумба, чтобы построить ответ, предполагающий, что произошло бы, если бы Колумб приплыл в США в 2015 году. Данные в распоряжении у ChatGPT включают в себя справочные страницы, информацию об интернет-феноменах и информацию о языках программирования.

В отличие от большинства чат-ботов, ChatGPT отслеживает состояние пользователя, запоминая предыдущие вопросы и ответы, данные ему в том же разговоре, что, по мнению некоторых журналистов, позволит использовать ChatGPT в качестве персонализированного терапевта. В попытке предотвратить выдачу оскорбительных результатов от запросов пользователей и получение оскорбительных ответов, в ChatGPT запросы фильтруются через API модерации, а потенциально расистские или сексистские подсказки отклоняются.

ChatGPT имеет множество ограничений. Модель вознаграждения ChatGPT, разработанная с учётом человеческого надзора, может быть чрезмерно оптимизирована и, таким образом, снижать производительность в соответствии с законом Гудхарта. При обучении рецензенты предпочитали более длинные ответы, независимо от фактического понимания или фактического содержания. Данные у ChatGPT могут страдать от алгоритмической предвзятости; ответы, включающие расплывчатые описания людей, таких как генеральный директор, могут генерировать ответ, предполагающий, что такой человек, например, является белым мужчиной. ChatGPT может быть использован для написания кода или создания плагинов, но код должен быть совместим с GPL.

Изначально сервис не имел возможности получения актуальной информации. Однако с марта 2023 года ChatGPT начала давать пользователям доступ в интернет и предоставила плагины в версии ChatGPT Plus.

28 августа 2023 года OpenAI представила корпоративную модель чат-бота ChatGPT Enterprise с продвинутыми возможностями защиты данных и неограниченным доступом к GPT-4.

25 сентября 2023 года в ChatGPT ввели функции распознавания и генерации голоса, а также распознавания изображений. Кроме того, сервис получил возможность поиска информации в Интернете с прямыми ссылками на источники и перестал ограничиваться данными до сентября 2021 года.

Технически ChatGPT обучена решать задачу предсказания возникновения следующих слов. Это и есть языковое моделирование – когда по некоторому уже имеющемуся тексту делается вывод о том, что должно быть написано дальше. Чтобы иметь возможность делать такие предсказания, языковым моделям под капотом приходится оперировать вероятностями возникновения тех или иных комбинаций слов для продолжения заданного текста.

Далее при ответах на вопросы ChatGPT оценивает вероятности возникновения тех или иных комбинаций слов и примерно с той же вероятностью выдает ответы. То есть на одинаковые запросы она может давать совершенно разные ответы. Таким образом, она всегда вариативна, что повышает ее эффективность.

Источник: vk.com

Комментарии: