Нейросетевой синтезатор от Google

Итак, наткнулся я на одну штуку, которая меня очень заинтересовала. Так как не являюсь программистом и любителем залезать глубоко в кишки всевозможных инновационных музыкальных разработок, поделюсь только тем, что, на мой взгляд, может быть полезно именно музыкантам — конечным пользователям, так сказать. Если кого-то эта штука сильно заинтересует, и он захочет залезть поглубже, переходите по многочисленным ссылкам в тексте.

Предыстория

Началось всё с того, что я зашёл на сайт Энрю Хуана и заметил в его интернет-магазине сэмпл-пак с необычным звучанием.

Сэмпл-пак содержит более 10000 сэмплов, созданных с помощью Neural Synthesizer (так называемый «NSynth»), музыкального искусственного интеллекта от Google. Многие звуки скрещены друг с другом не путём обычного микширования, а с помощью чистого анализа и регенерации цифровых данных аудиозаписей. Наслаждайтесь невероятно огромной коллекцией уникально обработанных звуков вокала, разных инструментов, «found sounds» и т.д.

Соответствующее видео нашлось на его канале довольно быстро:

В нём он также упоминает ролик с другого канала на ту же тему; если кому интересно, то вот оно:

Стал разбираться. Первое, что мне удалось найти — это сам NSynth, а вернее физический контроллер для работы с этими нейросетевыми алгоритмами от Google Creative Lab.

Это не самая полезная информация для музыканта, который хочет попробовать технологию дома на персональном компьютере, но уже что-то. На сайте также вкратце рассказывается об исследовательском проекте Magenta, использующем инструменты машинного обучения для помощи художникам и музыкантам в создании принципиально новых подходов к творчеству.

Итак, что такое Magenta

Ссылочка на сам проект нашлась чуть позже, и я был ей рад. Magenta — это в первую очередь именно исследовательский проект, разрабатывающий и по-разному внедряющий свой новый open-source алгоритм машинного обучения, использующий глубокую нейросеть для изучения характеристик аудиофайлов и воссоздания новых звуков на их основе. Первое, что появилось — сам NSynth (Neural Synthesizer). Он не комбинирует и не смешивает звуки привычным образом, он именно синтезирует совершенно новые оригинальные аудио-сэмплы, которые частично являются, например, и флейтой, и ситаром. Особенно забавные вещи случаются, когда смешиваются звуки музыкальных инструментов с мурлыканьем кошки и мычанием коровы.

В принципе, на GitHub есть вся необходимая информация для создания физического контроллера, так что энтузиасты с прямыми руками из нужного места могут собрать себе такую штуку. По всей видимости, это единственный адекватный вариант попробовать технологию с собственными сэмплами. На одном из сайтов Google есть веб-пример работы алгоритма с предустановленными звуками, чтобы примерно понимать, чего это чудище вообще делает.

Не сразу, но всё же я нашёл в бесконечных текстах на тему NSynth ссылку на Max4Live-проект для Ableton Live. Лежала она почти перед глазами, как всегда. Это бесплатный инструмент для работы с алгоритмом дома, без всяких контроллеров, хотя теоретически, можно подключить любой MIDI-контроллер и оценить все возможности в полной мере.

• ВОТ ОН (прямое скачивание, ZIP-архив 153 МБ, куча сэмплов уже на борту).

Подробнее о плагине и работе алгоритма можно прочитать на официальном сайте, причём в нескольких местах. Там же можно ознакомиться с многочисленными аудио-примерами. Плагин не позволяет работать с собственными сэмплами, но на борту есть огромное количество уже пропущенных через нейросеть звуков, и программа их умеет качественно смешивать, так что по сути мы получаем тот же результат, что и из «коробочной» версии.

Также Magenta предлагает ряд генеративных плагинов для создания MIDI-партий на основе уже существующих (или полагаясь на аудио-лупы). Может разнообразить партию, улучшить грув, придумать ударные и так далее. Называется это Magenta Studio, работает как standalone-приложения или ableton-плагины.

С работой плагинов можно ознакомиться на официальном YouTube-канале. А вообще, на самом сайте есть много демонстрационных роликов с применением различных разработок на базе Magenta, там и небезызвестный DrumBot имеется.

Надеюсь, всё вышеописанное оказалось для вас чем-то новым, интересным, вдохновляющим. Пробуйте, пишите в комментариях, чего получается. Если будут дополнительные ссылки и примеры — делитесь ими. А у меня пока всё.

Источник: m.vk.com

Комментарии: