SGD: датасет с диалогами для обучения персональных ассистентов

В Google AI опубликовали датасет с диалогами для обучения персональных ассистентов. Schema-Guided Dataset (SGD) состоит из 18 тысяч размеченных разговоров между пользователем и персональным ассистентом. В датасете обеспечивается разнообразие тем разговоров.

Генерация данных

Чтобы собрать датасет, исследователи разработали симулятор разговора между пользователем и ассистентом. Ассистент и пользователь во время разговора использовали доступные API. 

Симулятор генерирует скелет диалога с использованием конечного числа действий. Действия конвертируются в высказывания с помощью шаблона. На каждый сервис приходится около 50 шаблонов. Слоты заполняются вариантами на естественном языке. Сгенерированные диалоги перефразируются аннотаторами, чтобы диалог был последовательным.

Что внутри датасета 

Первичной целью публикации датасета является расширение доступных данных с юзкейсами использования персонального ассистента. SGD состоит из 18 тысяч размеченных разговоров ассистента и пользователя на разные темы. Разговоры включают взаимодействия с сервисами и API. Всего в разговорах затрагиваются 17 тем. Темы ранжируются от банковских дел до организации путешествий. Для большинства тем SGD содержит множество разных API. Часть API имеют дублирующийся функционал, но разные интерфейсы.

SGD — это первый датасет, который покрывает такое количество тем и содержит по несколько API на тему. Чтобы оценить устойчивость моделей к изменениям API интерфейсов или к добавлению новых API, тестовый набор данных содержит новые сервисы. Это позволяет модели не переобучаться на тех сервисах, которые присутствовали в обучающей выборке.