Summarizing Books with Human Feedback

МЕНЮ


Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


Масштабирование человеческого надзора за системами искусственного интеллекта для задач, которые трудно оценить.

Для безопасного развертывания мощного искусственного интеллекта общего назначения в будущем нам необходимо обеспечить, чтобы модели машинного обучения действовали в соответствии с намерениями человека. Эта проблема стала известна как проблема выравнивания.

Масштабируемое решение проблемы выравнивания должно работать над задачами, в которых результаты моделирования трудно или отнимают много времени для оценки людьми. Чтобы протестировать методы масштабируемого выравнивания, мы обучили модель обобщению целых книг, как показано в следующих примерах.[1] Наша модель работает, сначала суммируя небольшие разделы книги, затем суммируя эти резюме в резюме более высокого уровня и так далее.

Наша лучшая модель доработана с GPT-3 и генерирует разумные резюме целых книг, иногда даже соответствующие среднему качеству резюме, написанных человеком: она достигает рейтинга 6/7 (аналогичного среднему резюме, написанному человеком) от людей, которые читали книгу 5% времени и рейтинг 5/7 в 15% случаев. Наша модель также обеспечивает самые современные результаты в наборе данных BookSum для обобщения объема книги. Модель ответов на вопросы с нулевым результатом может использовать сводки нашей модели для получения самых современных сведений о наборе данных NarrativeQA для ответов на вопросы длиной в книгу.
Наш подход: Сочетание обучения с подкреплением на основе обратной связи с человеком и рекурсивной декомпозиции задач

Рассмотрим задачу обобщения фрагмента текста. Большие предварительно подготовленные модели не очень хороши в обобщении. В прошлом мы обнаружили, что обучение модели с подкреплением обучения на основе обратной связи с людьми помогло согласовать резюме моделей с предпочтениями людей в коротких сообщениях и статьях. Но оценка резюме целых книг требует больших усилий, чтобы сделать это напрямую, так как человеку нужно было бы прочитать всю книгу целиком, что занимает много часов.

Для решения этой проблемы мы дополнительно используем рекурсивную декомпозицию задач: мы процедурно разбиваем сложную задачу на более простые. В этом случае мы разбиваем обобщение длинного фрагмента текста на обобщение нескольких более коротких фрагментов. По сравнению с процедурой сквозного обучения рекурсивная декомпозиция задач имеет следующие преимущества:

Декомпозиция позволяет людям быстрее оценивать резюме моделей, используя резюме небольших частей книги, а не читая исходный текст.
Легче проследить процесс написания резюме. Например, вы можете отследить, где в исходном тексте происходят определенные события из сводки. Убедитесь в этом сами в нашем обозревателе сводок!
Наш метод может быть использован для обобщения книг неограниченной длины, не ограниченной контекстной длиной используемых нами моделей трансформаторов.

Почему Мы Работаем над Этим

Эта работа является частью наших текущих исследований по согласованию передовых систем искусственного интеллекта, что является ключом к нашей миссии. По мере того как мы обучаем наши модели выполнять все более сложные задачи, людям будет все труднее проводить обоснованные оценки результатов моделей. Это затрудняет обнаружение тонких проблем в выходных данных модели, которые могут привести к негативным последствиям при развертывании этих моделей. Поэтому мы хотим, чтобы наша способность оценивать наши модели возрастала по мере увеличения их возможностей.

Наш нынешний подход к этой проблеме заключается в том, чтобы дать людям возможность оценивать результаты моделей машинного обучения с помощью других моделей. В этом случае для оценки резюме книг мы предоставляем людям отдельные резюме глав, написанные по нашей модели, что экономит их время при оценке этих резюме по сравнению с чтением исходного текста. Наш прогресс в обобщении книги - это первая крупномасштабная эмпирическая работа по методам выравнивания масштаба.

В дальнейшем мы исследуем лучшие способы помочь людям в оценке поведения моделей с целью поиска методов, которые масштабируются для выравнивания искусственного общего интеллекта.

Мы всегда ищем более талантливых людей, чтобы присоединиться к нам; поэтому, если эта работа вас интересует, пожалуйста, подайте заявку на вступление в нашу команду!
Примечания

Эти образцы были отобраны из работ, находящихся в открытом доступе, и являются частью данных предварительной подготовки GPT-3. Чтобы контролировать этот эффект и исключительно в исследовательских целях, в нашей статье оцениваются резюме книг, которые модель никогда раньше не видела. ?

Авторы
Джеффри ВуРиан Ловеджан Лейке


Источник: openai.com

Комментарии: