KILT: набор датасетов для тестирования NLP-моделей от FAIR

KILT (Knowledge Intensive Language Tasks) — это унифицированный бенчмарк для обучения моделей, которые используют знания о мире для предсказаний. KILT объединяет в себе 11 публичных датасетов, которые охватывают 5 типов задач: проверка фактов, универсальная вопросно-ответная система (open-domain question answering), заполнение пробелов, поиск связей между сущностями и генерация диалогов. Это первый бенчмарк, который агрегирует датасеты для такого широкого спектра задач на знания.

Все датасеты в KILT были собраны из одного источника данных: последняя версия Wikipedia. Это позволяет обучать модели, которые не завязаны на конкретный тип knowledge-intensive задачи.

При оценке того, как модели справляются с задачами на знание, важно учитывать то, какие знания модель использовала при предсказании. В KILT есть разметка того, какие знания модели необходимы, чтобы выдать предсказание для объекта данных. Это позволяет учитывать при оценке качества модели то, на чем основаны предсказания.

Как это работает

KILT объединяет 11 датасетов в один формат. Данные всех датасетов происходят из корпуса статей на Wikipedia. corpus. Предобработка данных — это трудоемкий процесс, который влияет на качество итоговой модели. KILT позволяет экспериментировать с многозадачным обучением благодаря унифицированному формату данных.