Нейросеть научилась "додумывать" 3D-сцены

Специалисты из Google DeepMind создали новый алгоритм, который может формировать пространственную картину, опираясь лишь на несколько плоских изображений.

Фреймворк Generative Query Network состоит из двух частей: репрезентативной сети и генеративной сети. Первая собирает информацию об изучаемой сцене, изучая количество и расположение объектов, их цвета, удалённость от наблюдателя, и учитывая источники света. Все эти данные она передаёт генеративной сети, которая и формирует новую сцену, основываясь на исходных данных.

Чем же интересна именно GQN? Во-первых, она работает с абстракциями — по словам разработчиков, она может обобщать классы элементов и умеет проводить аналогии. Если в нескольких сценах ей попадётся голубое небо, то нейросеть запомнит, что оно именно такого цвета, и будет действовать соответственно. Во-вторых, GQN довольно точно распознаёт и воссоздаёт даже те объекты, которые в исходных данных видны лишь частично. Результаты работы новой нейросети вы можете увидеть ниже.

Комментарии: