Модель OpenAI генерирует краткие пересказы книг

В OpenAI обучили нейросеть пересказывать содержание книг. Модель основана на GPT-3 и использует метод рекурсивного разложения, то есть сначала создает пересказы небольших частей книги и затем объединяет их.

По сравнению с процедурой сквозного обучения, рекурсивное разложение позволяет генерировать пересказы книг неограниченной длины. Такой подход позволяет обойти ограничение на длину, на протяжении которой модель удерживает контекст.

Помимо рекурсивного разложения, при обучении нейросети использовалось подкрепление в виде оценок пересказов, которые выставлялись вручную людьми, прочитавшими соответствующий блок книги. Таким образом модель обучалась соответствовать ожиданиям рецензентов.

Модель OpenAI в 5% случаев генерировала тексты, качество которых сопоставимо с пересказами, написанными человеком. Помимо этого, нейросеть получила наивысшую оценку в бенчмарке BookSum.

Модель разработана в рамках инициативы OpenAI по согласованию выходных данных моделей с предпочтениями и целями людей.