NVIDIA вновь на вершине: революция в области распознавания речи и перевода

Прорывные разработки NVIDIA в области искусственного интеллекта снова ставят компанию в лидеры инноваций. На этот раз в центре внимания — модели распознавания речи и перевода, которые устанавливают новые стандарты скорости и точности.

Лидерство на HuggingFace: Модели NVIDIA занимают первые строчки на лидерборде HuggingFace, опережая других ИИ-титанов: Whisper от OpenAI и Hubert от Facebook.

Canary 1B — мультиязычная модель, демонстрирующая передовую точность на множестве бенчмарков. Она способна транскрибировать речь на английском, немецком, французском и испанском языках, как с пунктуацией и заглавными буквами, так и без них. К тому же модель поддерживает двунаправленный перевод с английского на немецкий, французский и испанский языки и обратно.

P-Flow — модель, способная использовать короткий голосовой запрос всего в три секунды для создания речи с характеристиками голоса диктора, не включенного в обучающие данные модели. Созданная P-Flow речь отличается высокой степенью схожести с голосом в запросе и предпочтительнее по сравнению с аналогами по человеческому сходству и схожести голоса.

P-Flow состоит из текстового кодера, адаптирующего голос диктора, и генеративного декодера для синтеза высококачественной персонализированной речи значительно быстрее, чем в реальном времени. Это позволяет создавать уникальные голоса без необходимости огромных наборов данных, сложных настроек обучения и медленных авторегрессивных формул.

В заключение, модели Speech-To-Text открыты и доступны на HuggingFace, и скоро будут в NVIDIA Riva, в то время как P-Flow доступна только для Enterprise (ответственный подход для предотвращения использования настолько мощной модели в злых целях!)

Источник: vk.com

Комментарии: