HuggingFace опубликовали библиотеку с трансформерами для TF

Transformers 2.0 — это библиотека со всеми state-of-the-art моделями для предобработки естественного языка на TensorFlow. Использование библиотеки позволяет сократить количество строк кода для обучения модели до 3-х. Разработчиками библиотеки являются исследователи из HuggingFace. Ранее библиотека была доступна только на PyTorch.

Библиотека содержит state-of-the-art архитектуры (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet) для задач Natural Language Understanding (NLU) и Natural Language Generation (NLG). Всего в библиотеке более 32 предобученных моделей для 100+ языков и гибкость при работе с TensorFlow 2.0 и PyTorch.

Подробнее про библиотеку

Ключевой характеристикой Transformers 2.0 является возможность делиться обученными моделями между разработчиками. Помимо этого, есть возможность конвертации модели из одного фреймворка в другой. Затраты на написание кода для обучения модели значительно сокращаются. С библиотекой процедура обучения модели может быть описана 3 строчками.

Список доступных моделей

В список доступных архитектур входят: BERT, GPT, GPT-2, Transformer-XL, XLNet, XLM, RoBERTa, DistilBERT. Все имплементации были протестированы на нескольких датасетах и повторяют результаты из оригинальных статей. HuggingFace также предоставляют библиотеку для использования трансформеров в мобильных устройствах, — swift-coreml-transformers.

Тестирование моделей

В библиотеку встроены тесты для моделей. Эти тесты можно запустить с помощью стандартной библиотеке на Python для тестирования, — pytest. Тесты отличаются зависимости от фреймоворка, на котором написана модель.