Новый ИИ синтезирует звуки, которых люди ранее не слышали???

Компания Nvidia представила Fugatto — музыкальный ИИ, который способен создавать звуки и композиции, ранее не слышанные человеком. Это могут быть мяукающие трубы или саксофон, звучащий как собака. Инструмент использует текстовые и аудиоописания для генерации музыки, синтеза необычных звуков, трансформации голоса и редактирования мелодий.

Fugatto был обучен на основе 20 миллионов аудиообразцов, обработанных с помощью системы ComposableART. Эта технология позволяет комбинировать характеристики разных звуков, создавая новые уникальные звучания. Nvidia уверена, что Fugatto станет ценным инструментом для музыкантов и аудиохудожников, открывая новые горизонты для творчества.

Fugatto способен создавать музыкальные композиции, основанные на необычных запросах. Например, можно попросить систему сгенерировать звучание саксофона, имитирующее лай собаки, а затем плавно переходящее в электронную музыку. Также система может создавать совершенно новые звуки, основываясь на подробных описаниях, таких как «глубокий гул баса, чередующийся с высокими цифровыми писками, напоминающими звуки пробуждающейся машины».

Инструмент способен трансформировать звучание человеческого голоса, изменяя акцент или придавая ему различные эмоциональные оттенки, такие как гнев или спокойствие. Кроме того, Fugatto позволяет редактировать музыкальные композиции: выделять вокальные партии, добавлять новые инструменты и даже изменять мелодию, заменяя, например, фортепиано на оперное соло.

Это стало возможным благодаря особому подходу к обучению модели. Исследователи Nvidia отмечают, что создание набора данных для тренировки нейросети, способной связывать звуки и слова, представляет собой сложную задачу. Обычно нейросети учатся понимать текстовые инструкции, но когда речь заходит о звуках, им требуется более точная подсказка. Чтобы решить эту проблему, ученые использовали специальную программу (скрипт на языке Python), которая генерировала большое количество инструкций для создания разнообразных звуковых образов. Эти описания включали как абсолютные характеристики, такие как «синтезировать грустный голос», так и относительные, например, «увеличить грусть в голосе».

Большинство общедоступных аудиозаписей, использованных для обучения Fugatto, не содержат подробной информации о заложенных эмоциях или о том, как звучит голос. Поэтому ученые разработали способ автоматически описывать звуки словами. Например, они могли охарактеризовать звук как «веселый», «грустный» или «громкий». Кроме того, использовались специальные инструменты для извлечения числовых характеристик из аудио, которые помогают понять его устройство.

После обработки обширной коллекции открытых аудиоданных исследователи сформировали детально аннотированный набор данных, включающий 20 миллионов отдельных аудиообразцов общей продолжительностью более 50 000 часов. На основе этого набора с использованием 32 тензорных ядер Nvidia была обучена модель с 2,5 млрд параметров. ИИ продемонстрировал высокую точность в тестах качества звука.

В Fugatto интегрирована система ComposableART, которая позволяет создавать новые звуки, комбинируя различные характеристики, извлеченные из обучающих данных. Эта система генерирует звуки, не встречавшиеся в обучающей выборке, поскольку сочетает несочетаемое. Например, звучание скрипки смешивается со смехом ребенка, а шум дождя — с банджо. Нейросеть рассматривает каждую отдельную аудиохарактеристику как непрерывный спектр, а не как дискретное значение. Так, при создании звукового образа, совмещающего звучание акустической гитары и журчащей воды, конечный результат будет зависеть от того, какая из этих характеристик будет преобладать в «смеси», создаваемой Fugatto.

Nvidia считает, что инструмент будет полезен в различных сферах — от создания музыки до разработки новых звуковых эффектов для игр. Разработчики подчеркивают, что модель не является заменой музыкантов, а скорее новым инструментом для аудиохудожников. Правда, пока Fugatto не доступен для публичного тестирования, но представители компании уверяют, что скоро предоставят к нему доступ.

Источник: vk.com

Комментарии: