GPT-3 научили искать ответы в интернете и подкреплять их ссылками на источники |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2021-12-17 22:24 Разработчики из OpenAI научили нейросеть GPT-3 отвечать на вопросы так, как это часто делают люди: спрашивая у поисковика, собирая информацию из нескольких источников и давая в итоговом тексте ссылки на них. Исследование показало, что ответы такой нейросети нравятся людям больше, чем лучшие ответы на те же вопросы на Reddit. Краткое описание и интерактивные примеры опубликованы на сайте OpenAI, там же доступна статья с подробностями обучения и тестирования. В 2017 году исследователи из Google представили архитектуру нейросетей, которую назвали трансформером. Ее ключевой особенностью стала реализация механизма внимания, позволяющая нейросети учитывать все слова в даваемом ей предложении и понимать их важность. Затем исследователи из OpenAI создали на ее основе нейросеть GPT и два ее преемника (GPT-2 и GPT-3), последний из которых научился генерировать тексты, которые часто сложно отличить от написанных человеком. Как и в случае с дипфейками, это вызвало в научном сообществе дискуссии о том, какие опасности несет в себе такая технология. В частности, из-за особенностей работы генеративные нейросети могут создавать правдоподобный, но ложный с точки зрения фактов текст. Исследователи из OpenAI решили сделать GPT-3 более «прозрачной» и научили ее не только генерировать ответы, но и приводить ссылки на источники. Они создали для GPT-3 интерактивную среду — фактически текстовый браузер, работающий через API поисковика Bing. Среда показывает результаты выдачи по поисковому запросу с заголовками и абзацем текста, а также позволяет открыть нужную ссылку, пролистать страницу и выполнить другие базовые действия. Для обучения авторы в основном использовали вопросы из Reddit-сообщества Explain Like I’m Five (объясни так, будто мне пять лет), к ним также добавили данные из датасета TriviaQA. Всего около шести тысяч вопросов, из которых 92 процента с Reddit. Модели обучали на примерах людей, отвечавших на те же вопросы при помощи поиска в интернете, а затем также на парах из человеческого и машинного ответов. После обучения трех моделей добровольцы сравнили их ответы с ответами, собранными людьми во время обучения, с ответами с Reddit-сообщества, получивших там наивысшую оценку. Разработчики выбрали три критерия: общая полезность, последовательность (понятность) ответа и точность (корректность, соответствие фактам). Задача добровольцев заключалась в том, чтобы выбрать лучший из пары ответов. Главным итогом работы стало то, что люди предпочли одну из моделей (со 175 миллиардами параметров) в больше чем половине случаев по всем трем параметрам при сравнении с ответами с Reddit и по двум параметрам (общая полезность и точность) при сравнении с ответами, составленными людьми перед обучением. Григорий Копиев Источник: nplus1.ru Комментарии: |
|