«Машинный звук»: синтезаторы на базе нейросетей

Разработчики из исследовательского проекта Magenta (подразделение Google) представили синтезатор с открытым исходным кодом NSynth Super. В его основе лежит система искусственного интеллекта, которая миксует несколько предварительно загруженных сэмплов (например, звучание гитары и пианино) в новый звук с уникальными характеристиками.

Подробнее о системе NSynth Super и других алгоритмах-композиторах расскажем далее.

Подробнее об NSynth Super

Синтезатор NSynth Super имеет сенсорный дисплей, на котором отображается квадратная «рабочая поверхность». Музыкант выбирает несколько инструментов, звучание которых будет использоваться для создания нового звука, и назначает их углам этого квадрата.

Во время выступления исполнитель управляет воспроизводимым звуком, перемещая указатель в пределах рабочего поля. Результирующий сэмпл будет представлять собой комбинацию исходных звуков в разных пропорциях (в зависимости от близости курсора к тому или иному углу).

Новые сэмплы синтезируются при помощи алгоритма машинного обучения NSynth. Он обучался на 300 тыс. инструментальных звуков при помощи открытых библиотек TensorFlow и openFrameworks. В его работе также применяется модель .

WaveNet

Для генерации новых сэмплов NSynth анализирует 16 характеристик входящих звуков. Затем они линейно интерполируются для создания математических представлений каждого аудиосигнала. Эти представления декодируются обратно в звуки, которые имеют объединенные акустические качества тех, чтобы ли на входе алгоритма.

Использовать NSynth Super можно с любым MIDI-источником: например, DAW, синтезатором или секвенсором. Как работает NSynth Super вы можете посмотреть в этом видео. В нем исполнитель «смешивает» звуки ситара, электрического фортепиано и др:

NSynth Super — экспериментальный инструмент, потому не будет продаваться как коммерческий продукт. Однако его код и схема сборки выложены на GitHub.

Кто еще использует МО для создания музыки

В проекте Magenta работают и над другими технологиями, связанными с машинным обучением. Одна из них — модель MusicVAE, которая может «смешивать» мелодии. На её основе уже создано несколько веб-приложений: Melody Mixer, Beat Blender и Latent Loops. MusicVAE (и другие модели от Magenta) собраны в открытой библиотеке Magenta.js.
Над алгоритмами для создания музыки работают и другие компании. Например, в Sony Computer Science Laboratories реализуют проект Flow Machines. Их система ИИ способна анализировать различные музыкальные стили и использовать эти знания для создания новых композиций. Примером его работы может быть музыка для песни Daddy’s Car в стиле The Beatles.

В рамках проекта Flow Machines создано несколько приложений, например, FlowComposer, помогающий музыкантам писать музыку в заданном стиле, и Reflexive Looper, самостоятельно дополняющий недостающие инструментальные партии. При помощи решений Flow Machines даже записали и выпустили музыкальный альбом Hello World.
Еще пример — стартап Jukedeck. Он разрабатывает инструмент для создания композиций с заданным настроением и темпом. Компания продолжает развивать проект и приглашает к сотрудничеству разработчиков и музыкантов. Вот пример композиции, созданной алгоритмами машинного обучения Jukedeck:

Похожий инструмент создает компания Amper. Пользователь может выбрать настроение, стиль, темп и продолжительность композиции, а также инструменты, на которых она будет «сыграна». Приложение синтезирует музыку в соответствии с этими требованиями.
Над системами ИИ для написания музыки работает и компания Popgun. Они разрабатывают алгоритмы, способные писать оригинальные поп-песни. Также исследования в этой сфере проводитстриминговый гигант Spotify. В прошлом году компания открыла лабораторию в Париже, которая будет заниматься созданием инструментов на базе систем ИИ.

Источник: m.vk.com

Комментарии: