Этот Робот Умеет Читать Рэп

А что, если ваш цифровой ассистент может сражаться с рэпом? Это может показаться неправдоподобным, но Гил Вайнберг, музыкальный технолог из Технологического института Джорджии, адаптировал музыкального робота по имени Шимон для сочинения текстов и исполнения в реальном времени. Это означает, что он может участвовать в рэп - "разговорах" с людьми и, возможно, даже помогать им сочинять свои собственные тексты. Шимон, который был намеренно разработан, чтобы звучать как машина (слушайте здесь), должен быть единственным в своем роде музыкальным коллаборационистом-или бесчеловечным противником рэп-баттла.

Компьютерная музыка восходит к 1950-м годам , когда первые компьютеры использовали алгоритмы для создания мелодий. Современные роботы могут использовать машинное обучение для работы с инструментами, включая флейту и барабаны. Одной из таких машин была более ранняя версия Шимона, которая могла играть на маримбе и петь. Недавно обновленный робот выглядит так же; он по-прежнему состоит из шарообразной “головы” с дерзкими подвижными бровями над закрытыми забралом глазами, расположенными на конце механической руки. Но теперь Вайнберг утверждает, что Шимон-первый импровизирующий робот, который набросился на рэп, с его отчетливыми стилистическими особенностями, которые создают уникальные проблемы программирования.

Венец славы рэпа лежит в текстах песен. Помимо семантического наполнения, слова должны придерживаться эстетически приятного ритма и ритма, обеспечивая при этом несколько слоев поэтической сложности. В недавней статье, опубликованной в журнале proceedings of the 11th International Conference on Computational Creativity 2020, исследовательская группа Вайнберга описывает технические достижения, которые привели к жизни рэп-Шимона.

Когда Shimon battle стучит, программное обеспечение преобразует устные тексты своего человеческого противника в текст. Система робота идентифицирует ключевые слова из этого и генерирует новые тексты песен на основе нескольких пользовательских наборов данных слов, на которых обучался Шимон (используя модели глубокого обучения). Эти наборы данных могут быть получены из любого текста: работы Лил Уэйн, Джей-Зи или других рэперов; тексты песен из других жанров; или даже немузыкальные литературные произведения. Представьте себе, как звучали бы Шекспир или Джейн Остин, если бы они постучали; Шимон мог бы имитировать это для вас.

Одним из новых элементов дизайна Shimon, говорят его создатели, является дополнительное использование наборов данных фонем для создания новых текстов. Фонемы-это отдельные единицы произношения, которые составляют звук слова. Разбивка ключевых слов на эти единицы - самый эффективный способ интегрировать рифму в текст песни, говорит Ричард Савери, первый автор статьи о Шимоне и музыкальный технолог в Georgia Tech. ” То, как фонемы соотносятся между словами, действительно важно, - объясняет Савери, - иногда даже важнее, чем фактическое значение слов.- Набор обучающих данных фонем позволяет Шимону создавать ключевые фразы в рифму, а робот затем накладывает ритмический ритм на свою речь.

Системы Shimon должны быть достаточно быстры, чтобы реагировать в режиме реального времени без ущерба для качества работы. Чтобы достичь этого, исследователи приняли несколько жестких программных решений, таких как ограничение словаря ответов Шимона примерно на 3000 слов и сокращение продолжительности времени, в течение которого Шимон будет “слушать” своего оппонента. До сих пор Шимон мог отбить ответный удар менее чем за семь секунд, импровизируя при этом такие жесты, как покачивание головой и покачивание бровями. Обновление оборудования, например, более мощный графический процессор, в конечном итоге сделает процесс более быстрым.

Ни один отдельный компонент технологии Шимона не является полностью новым—но эта конкретная сборка деталей является, говорит прем Ситараман, научный сотрудник технологического стартапа Descript, который не участвовал в проекте. "Как правило, поле довольно загромождено различными вещами, такими как речь в текст, текст в речь, музыка”,-говорит Ситараман. "Эта область приближается к хорошему [достаточному] уровню сложности, чтобы люди могли взять эти [компоненты] и соединить их вместе в действительно интересные интерактивные системы.”

Помимо ценности новизны Шимона, Вайнберг хочет, чтобы его робот предоставлял людям возможность экспериментировать с новыми видами музыки. “Мне неинтересно, если [Шимон] делает свое дело без людей ... как полностью автономная музыкальная система”, - говорит он. Его цель-увидеть, как его роботы “общаются и взаимодействуют с [людьми] и вдохновляют их удивительным образом."Вайнберг никогда раньше не писал тексты песен, но говорит, что Шимон позволил ему впервые спродюсировать песни. Он добавляет, что даже получал просьбы о помощи от лириков, страдающих писательским блоком.

Реклама

Ситараман, сам развлекательный музыкант, также говорит, что он взволнован возможностями, которые технология Шимона может предложить немузыкантам. "Инструменты, использующие искусственный интеллект, могут уменьшить барьер для входа ... для создания искусства", - говорит он. "Люди делают это все время: вы видите, как люди делают Истории Instagram и TikTok [видео].”

Однако у профессионалов есть некоторые оговорки. Рис Лэнгстон, рэпер и мультимедийный художник кто не был вовлечен в проект, говорит, что он был бы увлечен рэпом с Шимоном, особенно с тех пор, как пандемия КОВИДА-19 ограничила личное взаимодействие, из которого Лэнгстон черпает большую часть своего вдохновения. Он говорит, что это впечатляет, что искусственный интеллект может достичь—но также предполагает, что роботы просто не могут получить доступ к вдохновению, которое иногда случайно возникает из таких вещей, как человеческая ошибка. Во время сеанса записи, объясняет Лэнгстон, ошибки иногда заканчиваются в финальной записи, потому что они звучат удивительно хорошо. Несчастные случаи " открывают возможности, потому что не все [в записи] спланировано”, - говорит он. - А можно научить машину ошибаться?”

Источник: hightech.fm

Комментарии: