Максимально живое общение с нейронками: NVIDIA выкатила PersonaPlex-7B для болтовни без пауз

NVIDIA открыла исходники модели, которая умеет слушать и говорить одновременно. Это создает ощущение живого, «человеческого» вайба, которого не хватало голосовым помощникам.

Благодаря архитектуре с двойным потоком модель обрабатывает аудио токены в реальном времени, параллельно генерируя и текст, и звук.

Что это дает на практике:

— Вы наконец-то можете вклиниться в речь бота, перебить его, и он среагирует мгновенно, а не будет дочитывать скрипт до конца.

— Модель подхватывает контекст прямо в процессе вашей речи, сохраняя естественный ритм беседы и это реально работает, с моделью приятно говорить.

— Настройка через zero-shot — просто кидаете описание роли и пример голоса, и Persona готова к работе.

— Полностью бесплатно и можно встраивать в свои, даже коммерческие, проекты ?

Забрать веса и код можно тут: — GitHub (https://github.com/NVIDIA/personaplex) — Hugging Face (https://huggingface.co/nvidia/personaplex-7b-v1)

Источник: huggingface.co

Комментарии: