Нейросеть от FAIR повышает разрешение изображения в 16 раз

FAIR опубликовали нейросетевую модель, которая повышает разрешение изображения в 16 раз. Нейросеть принимает на вход изображение с разрешением в 960?540. Затем модель апсемплит изображение до разрешения в 3840?2160 в реальном времени. Модель имеет прямое применение в игровой индустрии. Использование нейросети позволяет сократить траты на рендеринг для дисплеев с высоким разрешением.

Описание проблемы

Существуют подходы для повышения разрешения фотографий. Однако ни один из подходов не фокусируется на изображениях, которые рендерятся игровыми движками. Фотографии и отрендеренные изображения фундаментально отличны, поэтому предыдущие подходы неэффективны при решении задачи апсемплинга изображений из игровых движков. 

Фундаментальное отличие фотографий и изображений из видеоигр заключается в том, что последние часто имеют характеристики фотографий в низком разрешении. Это связано с тем, что изображения из видеоигр рендерятся в реальном времени содержат артефакты передвижения объектов. Поэтому модель должна учитывать связность и пересечения изображений между собой.

Подробнее о модели

На инференсе нейросеть принимает на вход цвет, карту глубины и векторы плотности движения для текущего и множества предыдущих кадров. Эти данные используются при генерации изображения в высоком разрешении для текущего кадра.

Нейросеть оптимизирована так, что бы максимизировать качество изображения и видеозаписи и что бы ее можно было использовать в реальном времени. Модель обучалась с учителем.