Jiant: библиотека для моделей понимания естественного языка

Jiant — это библиотека для обучения моделей понимания естественного языка. Библиотека включает в себя функционал для мультизадачного обучения и transfer learning. Jiant поддерживает такие задачи обработки естественного языка, как GLUE, SuperGLUE и XTREME. Среди доступных архитектур в библиотеке — BERT, RoBERTa, ALBERT, ELECTRA и XLM-R. Библиотека имеет модульный дизайн и легко адаптируется под кастомные эксперименты. Jiant разрабатывают исследователи из NYU.

Подробнее про библиотеку

Jiant является Python библиотека для исследовательских задач в области NLP. Библиотека предоставляет унифицированный API для прогона экспериментов на разных моделях, задачах или с разными конфигурациями. Это позволяет сократить количество дублируемого кода в исследовательском проекте. Библиотеку разрабатывали для широкомасштабных, реплицируемых и конфигурируемых экспериментов с одним стандартизированным интерфейсом.

Задачи

Библиотека поддерживает более 50 задач понимания естественного языка, включая GLUE, SuperGLUE и XTREME бенчмарки. Для каждой поддерживаемой задачи уже прописан пайплайн предобработки данных для подготовки к формату входных данных из библиотеки transformers.

Модели

Поддерживаемые модели включают в себя: BERT, RoBERTa, XLM-R, ALBERT, BART, mBART и ELECTRA. Имплементации моделей и токенизаторов взяты из библиотек transformers и tokenizers.