Imaginary Soundscape: нейросеть подбирает звуковое сопровождение картинам и фотографиям

Группа исследователей из Токийского университета разработала нейросеть, которая умеет подбирать звуковое сопровождение к иллюстрациям — например, к картинам или фотографиям. Попробовать ее в работе можно на этой странице.

Нейросеть в проекте Imaginary Soundscape находит на картинке «знакомые» элементы и подбирает к ним звуки из базы в 52 тысячи файлов. Для демонстрации работы программы ее создатели «озвучили» картины — «Женщина гладит» Эдгара Дега, «Базиль и Камилла» Клода Моне, «Хьюго Рейсингер» Андерса Цорна и другие.

The Verge отмечает, что программе хорошо удается озвучивать абстрактные изображения и фотографии, на которых люди что-то делают, а с мемами она справляется плохо. «Медуза» все же показала нейросети несколько мемов. Вот так звучит мем «Это голубь?», а так — «Карл».

Авторы Imaginary Soundscape в конце 2017 года представили похожий проект: в нем нейросеть подбирала звуки к панорамам на Google Maps. Пользователь мог выбрать любое местоположение, доступное на картах