NVIDIA выпустила Nemotron 3.5 Transcribe

Nemotron 3.5 Transcribe (https://huggingface.co/blog/nvidia/nemotron-transcribe-granary) - открытая модель транскрибации речи в текст, которая поддерживает 40 языков, переводит 31 из них и различает говорящих на 13.

Для русского языка доступны все задачи, которым обучалась модель - расшифровка, перевод, разделение речи по говорящим и смешанная речь, когда в одной записи языки перемежаются.

Модель принимает записи длиной до часа, расставляет метки времени по словам и подчиняется указаниям в запросе вроде просьбы расшифровать запись и подписать каждого говорящего.

Плюс она способна отвечать на вопросы по содержанию аудио, но это только для английского. Живой поток не умеет, только на готовые файлы.

Общих параметров 34 млрд, из которых на токен активируются около 4,3 млрд, под капотом - речевой кодировщик вместе с гибридной языковой моделью из слоёв Mamba и трансформера со смесью экспертов.

Вместе с моделью NVIDIA выложила набор данных Granary v2 (https://huggingface.co/datasets/nvidia/Granary-v2) на 463 тысячи часов речи для 48 языков, собранный из 16 открытых корпусов.

В сете опубликованы описания и конвейер обработки, само аудио нужно скачивать отдельно по лицензиям исходных корпусов.

Тесты

В открытом рейтинге расшифровки Hugging Face модель заняла первое место среди открытых моделей со средней долей ошибок в словах 5,33% на английском, на многоязычной части вышло 4,62%, на длинных записях 10,98%.

В рейтинге Artificial Analysis у неё 2,8% ошибок, столько же у соперника, которому нужно примерно в шесть раз больше активных параметров.

На одной RTX PRO 6000 модель обработала 100 часов записей меньше чем за три минуты.

Лицензирование: OpenMDW-1.1

Статья (https://huggingface.co/blog/nvidia/nemotron-transcribe-granary)

Веса (https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B)

Техотчет (https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Transcribe-Technical-Report.pdf)

Датасет (https://huggingface.co/datasets/nvidia/Granary-v2)

Демо (https://huggingface.co/spaces/nvidia/nemotron-transcribe)

Телеграм: t.me/ainewsline

Источник: huggingface.co

Комментарии: