Stable Audio 2.0 теперь может создавать структурированные трёхминутные композиции высокого качества

Stability AI выпустила улучшенную модель Stable Audio 2.0, которая, по словам разработчиков, может создавать «высококачественные и полностью структурированные композиции» длиной до трех минут.

В сентябре 2023 года была запущена нейросетевая модель Stable Audio. Эта нейросеть может генерировать аудиодорожки длительностью до 90 секунд, включая мелодии, бэк-треки, стэмы и звуковые эффекты. За прошедшие полгода разработчики улучшили навыки Stable Audio, обучив ее создавать структурированные композиции и преобразовывать пользовательские аудиофайлы.

Помимо увеличенной длительности генерируемой музыки и улучшенного подхода к аранжировке, одной из основных особенностей Stable Audio 2.0 стали возможности преобразования одних звуков в другие. Как отметили в Stability AI, модель научилась обрабатывать пользовательские аудиофайлы, превращая одни звуки в другие.

В приведенных примерах использования модели разработчики показали, как нейросеть преобразовывает басовую линию синтезатора в партию бас-гитары, а ритмичный скэт-напев в полноценный бит. Это позволяет создавать уникальные музыкальные композиции, которые раньше было сложно представить.

По словам создателей, преобразование поможет музыкантам «превратить идеи в полноценные сэмплы». Несмотря на то, что функция все еще находится на ранних стадиях разработки, ее возможности «практически безграничны», заявили в компании. В будущем нейросетевое преобразование звука может стать «чрезвычайно полезным инструментом в процессе создания музыки», особенно если оно будет интегрировано в DAW или плагины.

Stability AI не комментирует возможности внедрения своей звуковой модели в цифровые рабочие станции и программы для записи музыки. Однако компания отмечает, что работы в этом направлении уже ведутся. В настоящее время Stability AI сфокусирована на «улучшении текущих производственных процессов за счёт предоставления более глубоких возможностей управления и редактирования», что, по мнению разработчиков, позволит звуковой модели генерировать более интересные композиции.

Модель получила улучшенные возможности генерации звуков и эффектов. Алгоритмы более правдоподобно имитируют шум леса, города, звон стекла и другие звуки.

Как и первая версия алгоритма, Stable Audio 2.0 обучалась на наборе данных из 800 000 аудиофайлов, предоставленных библиотекой AudioSparx. Авторы отмечают, что всем исполнителям, чьё творчество попало в дата-сет, было предложено отказаться от обучения модели на их музыке. Количество отказавшихся музыкантов не уточняется.

Новая версия модели уже доступна всем пользователям Stable Audio на сайте сервиса (https://vk.cc/cwhKge). Стоимость использования алгоритмов модели не изменилась — пользоваться платформой можно как бесплатно, так и платно. Платная подписка на использование сервиса позволяет генерировать большее количество музыки, а также расширяет возможности использования сгенерированных файлов в собственном творчестве.

В ноябре 2023 года глава разработки Stable Audio Эд Ньютон-Рекс покинул Stability AI после двух месяцев работы. Он объяснил это несогласием с принципами обучения искусственного интеллекта, считая, что компании обучают генеративные модели на лицензированном наборе данных без согласия авторов музыки. Stability AI не комментировала заявление разработчика, но отметила, что музыканты могли отказаться от участия в обучении алгоритмов.

В музыкальной индустрии обеспокоены развитием алгоритмов искусственного интеллекта. Исполнители и звукозаписывающие компании не знают, к чему приведёт бесконтрольное развитие ИИ. Билли Айлиш и Стиви Уандер подписали открытое письмо, требуя ограничить использование искусственного интеллекта.

По информации издания MusicRadar, представители Stability AI не считают разрабатываемую модель потенциально опасной для музыкантов. Компания утверждает, что цель разработки состоит в том, чтобы «расширить творческий инструментарий музыкантов с помощью передовых технологий, тем самым повысив их креативность».

Источник: stableaudio.com

Комментарии: