Ученые из MIT научили нейросеть подбирать звук к видео

Для этого ученые в течение нескольких месяцев били барабанной палочкой по различным предметам и поверхностям, записав тысячи видео с около 46 000 разных звуков. Затем эти видео прогнали через нейросеть - алгоритм проанализировал сочетание звуков и видео и попытался выявить закономерности. Наконец, ученые протестировали нейросеть на видео без звука - основываясь на визуальной информации, алгоритм подобрал наиболее подходящие звуки из доступной ему базы. Получившиеся видео выглядели достаточно правдоподобно для смотрящих их людей - то есть, нейросеть в каком-то смысле прошла тест Тьюринга для видео.

Зачем это нужно? Во-первых, подобные алгоритмы можно будет использовать для создания звуковых эффектов в кино. Во-вторых, это еще один шаг вперед для искуственного интеллекта: если роботы знают, какой звук ассоциируется с данной поверхностью, они узнают что-то и о свойствах этой поверхности: например, твердая она или мягкая, и как с ней лучше взаимодействовать.

В последнее время появляется множество интересных исследований на стыке нейронаук и deep learning. Мы не знаем, что именно делает нейросеть, и похоже ли это на то, что делает мозг, но часто результаты сопоставимы - современные нейросети распознают объекты почти так же хорошо, как люди, а теперь еще и озвучивают видео.

Ссылка на новость на сайте MIT: http://news.mit.edu/2016/artificial-intelligence-produces-realistic-sounds-0613

Источник: vk.com

Комментарии: