Учёные научили нейросеть петь с интонацией

Теперь исполняет треки Бруно Марса и испанских поп-групп.

Фото с презентации WaveNet

Сотрудники университета Помпеу Фабра в Испании Хорди Бонада (Jordi Bonada) и Мерлижин Блаау (Merlijn Blaauw) опубликовали работу, посвящённую их собственному алгоритму на основе нейросетей. По словам учёных, их разработка может не только успешно синтизировать человеческий голос, но и «научить» его петь.

Нейронный параметрический синтезатор пения (A Neural Parametric Singing Synthesizer) является модифицированной версией синтеза речи от компании Google DeepMind под названием WaveNet, представленного осенью 2016 года. С помощью нейросетей программа сама обучается с использованием базы из реальных человеческих голосов. Из-за этого алгоритм генерирует более естественный голос, чем конкуренты.

Специалисты из испанского университета смогли настроить разработку Google DeepMind так, что синтезатор смог различать высоту голоса и его тембр. Благодаря этому нейросеть смогла не просто синтезировать человеческую речь, используя в качестве голоса материал из случайных предзаписанных отрывков, но и пропеть некоторые известные хиты с характерной интонацией — обычные синтезаторы речи так не умеют.

Для тестирования система авторы работы использовали три голоса: женский и мужской на английском языке, а также женский испанский. В общей сложности было записано несколько сотен коротких отрывков с пение приблизительно на 50 минут, включая паузы. Создатели проекта признали, что эта база данных совсем небольшая, но отметили, что записывать профессиональных певцов очень дорого.

Некоторые результаты синтеза пения авторы работы показали в своём исследовании. Например, учёные сгенерировали машинную версию песни Бруно Марса «Locked Out of Heaven».

Также они протестировали алгоритм на других языках, включая испанский. По словам разработчиков, нейросеть может подстраиваться не только под характеристики голоса, но и под лингвистические особенности речи.