Исследователи Google показали технологию превращения изображений из интернета в объёмные 3D-сцены

Для этого достаточно снимков одного объекта с разных ракурсов.

В Google показали технологию NeRF-W, которая позволяет создавать объёмные 3D-сцены разных мест по всему миру на основе случайных фотографий из сети. Инструмент исследователей сам «очищает» изображения от прохожих и выравнивает их по экспозиции, цвету и тону.

С помощью технологии авторы воссоздали в объёме Бранденбургские ворота в Берлине, базилику Сакре-Кёр в Париже и Фонтан Треви в Риме. Для этого они использовали только фотографии с сайтов вроде Flickr. В результате у исследователей получились детальные 3D-рендеры локаций с возможностью выбрать точку обзора вручную и изменить освещение в сцене.

NeRF-W основана на NeRF — первоначальной работе исследователей, которая позволяла делать то же самое, но работала нормально только в строго заданных контрольных условиях. Технология строит карты глубины резкости с помощью нейросетей, а потом синтезирует объёмную сцену с помощью прямого 3D-рендеринга

Сама по себе NeRF не могла работать со случайными изображениями из сети: у системы возникали проблемы из-за разных показателей света, экспозиции и пост-обработки. Кроме того, на снимках зачастую находились машины или люди, и это мешало созданию объёмной модели: на ней могли появиться «призраки», пересветы, смазанные объекты и другие артефакты.

В NeRF-W исследователи дополнили технологию, снизив её зависимость от «статичности» мира. Для корректного освещения и пост-обработки авторы использовали низкополигональную проекцию: это не только позволило моделировать освещение для конкретной фотографии, но ещё и «переосветить» сцену с новых углов.

Для решения проблемы с объектами, которые могли попасть в часть кадров, в технологию добавили возможность построения вторичной карты глубины, которая отделяет случайные объекты от нужных. После этого «неопределённые» части изображения очищаются.