Facebook AI опубликовали самого крупного чатбота

В FAIR опубликовали самого крупного чатбота, который поддерживает разговор на любые темы. По результатам опроса, Blender обходит предыдущих опенсорсных чатботов по вовлеченности и человечности. Blender является первым чатботом, которые совмещает в себе такие навыки общения, как эмпатия, знания и личность. Нейросеть в основе чатбота имеет 9.4 миллиарда параметров. Это в 3.6 раз больше, чем предыдущая самая крупная диалоговая система. Исследователи опубликовали полную модель, код и сетап для тестирования модели.

Детали обучения чатбота

Масштабирование

Разработчики предобучали Transformer с 9.4 миллиардами параметров на данных диалогов. Обучающие данные состояли из 1.5 миллиардов извлеченных разговоров. Чтобы оптимизировать обучение модели, исследователи параллелизовали вычисления с помощью column-wise model parallelism. Такой подход позволяет разбить нейросеть на мелкие куски. 

Обучение навыкам

Исследователи ввели задачу Blended Skill Talk (BST) для обучения и тестирования навыков модели. BST состоит из следующих навыков:

• Проявление личности (PersonaChat);
• Использование знаний (Wizard of Wikipedia);
• Проявление эмпатии (Empathetic Dialogues)

Объединение этих навыков является комплексной задачей, потому что системы должны уметь переключаться между задачами, когда это необходимо. Если пользователь переходит от шуточного тона к серьезному, модель должна уметь подстраиваться. Исследователи нашли, что дообучение модели на BST значительно повлияло на качество модели.

Стратегии генерации

Обучение нейросетей обычно происходит через минимизацию перплексии, которая измеряет, как хорошо модель предсказывает следующее слово. Исследователи нашли, что длина реплики пользователя заметно влияет на качество содержания ответов. Если реплика короткая, ответы унылые и отражают отсутствие интереса. Если слишком длинные, чатбот теряет фокус.