BERT вернулся.

ModernBERT пересматривает традиционные модели кодеров, поддерживая последовательности 8K при скорости в 2-3 раза выше, сохраняя при этом практическую простоту BERT.

Основные моменты

ModernBERT представляет новое семейство моделей для Кодина, превосходящих традиционные архитектуры BERT, как в базовом варинате (139 М параметров), так и в large модели (395 М параметров) вариантах

Архитектура позволяет обрабатывать последовательности до 8 192 токенови

В бенчмарках ModernBERT демонстрирует улучшение хорошие результаты в задачах поиска, NLU и кода, при этом в 2-3 раза быстрее, чем существующие модели.

Источник: huggingface.co

Комментарии: