Nvidia показала автомобильный симулятор, графику для которого на основе видео создал ИИ

Система сама генерирует объекты.

Nvidia представила видеоигровое демо, графика для которого была создана искусственным интеллектом с использованием системы машинного обучения. Это простой автомобильный симулятор, в котором можно перемещаться по городу, сгенерированному ИИ, однако никаких других вариантов взаимодействия с окружением не предусмотрено.

Для создания демо специалисты Nvidia сперва собрали данные, необходимые для машинного обучения. Они включали в себя видеозаписи поездок по разным городам. Затем каждый кадр футажа был разбит на составляющие: небо, автомобили, деревья, дороги, здания и так далее. Каждому типу объектов присваивался свой цвет.

После этого система училась самостоятельно создавать новые версии всех объектов на основе полученной информации.

Инженеры создали базовую топологию виртуальной среды с помощью движка Unreal Engine 4. Система самостоятельно генерировала объекты и помещала их в игровой мир.

При создании структуры мира были использованы традиционные методы. ИИ сгенерировал лишь графику. Это скорее просто концепт, чем игра, в которой весело проводить время.

Брайан Катанзаро

вице-президент Nvidia по глубокому обучению

По словам Катанзаро, авторы демо столкнулись с рядом проблем. Одна из них заключалась в том, что система в реальном времени генерирует графику 25 раз в секунду. Из-за этого цвета и текстуры объектов меняются каждый кадр. Разработчикам пришлось искать способ для того, чтобы сохранить визуальное постоянство виртуальной среды.

Инженеры «дали» системе краткосрочную память. Таким образом, она могла сравнивать каждый последующий кадр с предыдущим и «предсказывать», что произойдёт с объектами в будущем. Эти вычисления требуют больших мощностей, поэтому демо работает с частотой в 25 кадров в секунду. При этом обработкой занимается всего один графический процессор — Titan V.

Катанзаро отмечет, что сейчас эта технология находится на ранних этапах своего развития. При этом у неё есть потенциал не только в игровой индустрии — создание графики с помощью ИИ можно использовать в робототехнике и для «обучения» беспилотных автомобилей.

В ролике о демо, сотрудники Nvidia также рассказали, что с помощью этой технологии можно переносить движения одного человека на модель другого. Это позволило инженеру компании Минг-Ю Лью «исполнить» танец PSY из клипа Gangam Style. Для обучения ИИ также использовалось видео.