ДЖЕМ-СЕЙШН С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ

Сотрудник Googl-а Йотам Манн обучил нейросеть "A.I. Duet" сочинять музыку.

"Этот эксперимент позволяет вам создавать музыку посредством обучения машины", — гласит его видеоролик, размещённый в сети в прошедшем ноябре. "Нейронная сеть обучена на многих примерах и понимает музыкальные идеи, выстраивая таблицы нот и темпов. Вы просто наигрываете несколько нот и смотрите, как нейросеть отвечает вам".

Данный проект — детище Йотама Манна из гугловской "Magenta and Creative Lab", откуда позаимствованы некоторые коды и инструменты. Манн — музыкант и программист и на видео рассказывает как благодаря машинному самообучению вы играете дуэтом со своим компьютером. Создание музыки на компьютерах отнюдь не ново, говорит Манн, но самообучение машины кардинально меняет этот процесс.

При традиционном программировании, — продолжает создатель, — нам пришлось бы описывать машине множество правил, чтобы она могла принять решение, в том числе и эту таблицу, — но там слишком много комбинаций темпов и нот, чтобы их можно было описать вручную. Нейросети делают по-другому. Они "играют" на компьютере тонны музыкальных образцов и со временем из этого хаоса выстраиваются таблицы зависимостей.

В данном эксперименте вы наигрываете нейросети несколько нот и на основании имеющихся у неё данных о зависимостях темпов и нотных рядов она предлагает варианты как продолжить вашу партию.

Манн с интересом наблюдает как люди взаимодействуют с машиной. Вместо того, чтобы играть по очереди с нею, некоторые играют одновременно, как если бы это было сотворчество. И если вас не пугает подражание машины человеку, это будет совместная джем-сессия. Манн сделал программу открытой.

Сама нейросеть — из проекта "Magenta" команды Google Brain. Но достаточно ли убедительно выглядит "творчество" машины?

Программист и музыкант Александр Чен из "Creative Lab" говорит: "Чтобы показать, на что способен "Magenta", мы и запустили этот опыт с "A.I. Duet". Кто никогда раньше не обучался игре на пианино, не должен бояться его. Вам не надо даже знать, как играть на пианино, — это просто весело — нажимать какие-нибудь кнопки и слышать что отвечает компьютер".

Технические подробности можно найти на сайте GitHub. У "A.I.Duet"-а две части: внешний интерфейс на компьютере-клиенте и "админцентр" на сервере. Первый создаёт из пользовательского ввода небольшие MIDI-файлы и отсылает на сервер, а тот, обработав средствами "Magenta" и "TensorFlow", отсылает их назад. Написано это на высокоуровневом языке Python 2.7 с поддержкой клавиатуры MIDI и использованием Web Midi API и кодовых библиотек WebMIDI. Через Audiokeys компьютер может также управлять пианино. Компьютерный интерфейс соответствует белому ряду клавиатуры пианино.

ОБ АВТОРЕ. Йотам Манн окончил отделения музыки и компьютерных наук в университете Калифорнии в Беркли. 5 лет работал в "Center for New Music and Audio Technology" (CNMAT), где создавал интерфейсы, исследовательские работы, концерты хай-тек музыки и писал открытые коды для Arduino ("софт" и "железо" для построения простой любительской автоматики и робототехники). Создавал и кодировал музыку для двух экспериментов Chrome, мобильных приложений, множества сайтов и т.д. Работал доцентом в Школе искусств Тиша при Нью-Йоркском университете (NYU Tisch).

Сейчас Йотам создаёт "открытые" композиции для совместного творчества композитор+слушатель и также открытые программы интерактивной музыки.

Источник: techxplore.com

Комментарии: