FAIR, AI-лаборатория компании Facebook, опубликовала исходный код инструмента для классификации текстов fastText

FAIR, AI-лаборатория компании Facebook, опубликовала исходный код инструмента для классификации текстов fastText. Он открыт для ознакомления всем желающим на GitHub.

В описании проекта указано, что fastText - это библиотека для обучения представлениям слов и классификации предложений. Инструмент работает на нескольких языках, включая английский, немецкий, испанский, французский и чешский.

«Для эффективной обработки массивов данных с большим количеством различных категорий fastText использует иерархический классификатор, который организовывает различные категории в древовидную структуру вместо плоской», - пояснили представители лаборатории.

По данным Facebook, fastText - более быстрый, чем традиционные методы глубокого обучения:

Технология обучается на более чем 1 млрд слов за менее чем 10 минут, применяя стандартный многоядерный процессор. Кроме того, fastText способен классифицировать полмиллиона предложений по более чем 300 тыс. категорий менее чем за 5 минут.

Комментарии: