PixelPlayer: нейросеть научили расчленять музыку

МЕНЮ


Искусственный интеллект
Поиск
Регистрация на сайте
Помощь проекту

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


PixelPlayer — система, разработанная учеными из Массачусетского технологического института (MIT). Она способна выделять из видеозаписи партии отдельных музыкальных инструментов. Предыдущие разработки по выделению отдельных партий требовали аудиозаписей с ручной разметкой, в то время как PixelPlayer работает с неподготовленным видео.

Разработчики PixelPlayer видят потенциал в изучении синхронизации между зрением и слухом. Поэтому система задействует три алгоритма: для обработки видеоряда, аудиодорожки и для объединения первого со вторым. Необычно, что PixelPlayer определяет звук, относящийся к каждому из сегментов картинки.

На сайте разработки есть интерактивное демо. Там можно понажимать на разные сегменты видео и послушать, как они звучат (или не звучат).

Видео, демонстрирующее возможности PixelPlayer:

Василиса Александрова


Источник: m.vk.com

Комментарии: