Нейросеть научилась писать хоралы, как Бах

Разработчики из Sony Computer Science Laboratories научили нейросеть создавать музыку в стиле произведений Баха. Успехи оказались впечатляющими: около половины опрошенных не отличили «нейрохоралы» от оригинальных композиций. Подробнее с работой можно ознакомиться в журнале arXiv.org.

Сочинить хоральную музыку в стиле Баха – задача сложная. У композитора прослеживаются четыре гармонические линии с характерным ритмическим и мелодическим рисунком в одном гармоничном ключе. Попытки «сделать, как Бах», предпринимались и до этого, но у нейросетей не получалось соблюдать все вышеперечисленные особенности. А в этой работе представлена разработка DeepBach – своеобразная статистическая модель, пишущая четырёхголосые гимноподобные сочинения.

Чтобы обучить нейросеть, инженеры взяли корпус хоралов Баха – 389 произведений. Каждый написан для четырёх голосов – сопрано, альта, тенора и баса. Основная мелодия гимна исполняется сопрано, а композитор брал известную для своего времени мелодию и писал под неё три нижних голоса – так и создавались хоралы.

Модель DeepBach основана на LSTM рекуррентных нейросетях. Каждый голос создаётся отдельно в зависимости от ритма, соседних нот и наличия каденций (мелодических оборотов). Всего в DeepBach четыре нейросети: две LSTM строят предсказания на основании предыдущих и будущих нот, одна – в зависимости от звучащих в это же время, и последняя суммирует все эти предсказания. У модели есть плюсы: можно, например, зафиксировать один голос и поиграть с остальными или же указать желаемый ритм. Новые образцы получаются за считанные секунды – даже Бах не смог бы потягаться с нейросетью в скорости.

В тестировании машины участвовали 1600 человек, из которых 400 были профессиональными музыкантами или студентами музыкальных учебных заведений. Они прослушали оригинальные и сочинённые DeepBach хоралы, а также в тест включили произведения, сочинённые другими алгоритмами. В итоге около половины опрошенных приняли сочинённую нейросетью музыку за оригинал Баха. Неплохой результат, учитывая, что оригиналы Баха угадали 75% респондентов. Подробнее о результатах теста – на графике ниже. А ещё тестирование можно пройти самостоятельно на странице  проекта.

Инженеры планируют разработать графический редактор для DeepBach. Они отмечают: такой метод можно применять не только к хоралам Баха, но и к любой полифонической хоральной музыке.

Текст: Любовь Пушкарская

DeepBach: a Steerable Model for Bach chorales generation by Gaettan Hadjeres, Francois Pachet in arxiv.org. Published Dec 2016