Сотрудники Intel представили нейросеть, делающую изображения более фотореалистичными — на примере GTA V

Артефактов и «галлюцинаций», которыми «страдают» похожие технологии, удаётся избежать.

Работу нейросети исследователи из Intel Labs продемонстрировали в рамках конференции Eurographics 2021, опубликовав её подробное описание на GitHub. Технология позволяет обрабатывать изображение и делать его менее «синтетическим», корректируя освещение и даже добавляя отдельные эффекты.

В качестве примера авторы алгоритма привели запись геймплея из GTA V, которую улучшили, используя данные из Cityscapes, где находятся записи с автомобильных видеорегистраторов из Германии.

Большинство артефактов, проявляющихся на результатах работы других похожих нейросетей, в этом случае не видны. В Intel отмечают, что этого удаётся добиться в том числе за счёт уменьшения «поля зрения» нейросети.

Обычно ей «скармливают» большие сегменты изображения из оригинала, рассчитывая, что это поможет лучше определить контекст. Однако создатели данной технологии обучают сеть на небольших фрагментах из двух массивов данных, где находятся примерно одни и те же объекты — например, кусок асфальта или неба, столб, велосипедист или прохожий. Поэтому на конечном результате нет «галлюцинаций» вроде деревьев в небе или логотипов «Мерседес» на капоте автомобиля.

Однако у технологии есть и «побочные эффекты», которые зависят от оригинального массива данных. К примеру, из-за особенностей Cityscapes на выходе картинка приобретает зеленоватый оттенок, дороги становятся более гладкими, а высохшая трава «оживает».

Подробное описание доступно на GitHub.

GTA V

Результат работы нейросети Intel

GTA V

Результат работы нейросети Intel

GTA V

Результат работы нейросети Intel (на основе Cityscapes)

Однако при замене датасета изменится и результат. Если обучать нейросеть на изображениях с разных камер по всему миру, то обработанная картинка станет ярче, а её разрешение — выше.

GTA V

Результат работы нейросети Intel (на основе Mapillary Vistas)

GTA V

Результат работы нейросети Intel (на основе Mapillary Vistas)

GTA V

Результат работы нейросети Intel (на основе Mapillary Vistas)

Источник: dtf.ru

Комментарии: