Sony запатентовала аналог системы NVIDIA DLSS для «умного» апскейлинга разрешения в играх

Патент был обнаружен пользователем Reddit. Он описывает нейросеть, обучаемую большим количеством изображений в разных разрешениях, и способную увеличивать размер данного изображения на основе полученного опыта.

Цитата из патента:

"Устройство обработки информации для получения множества эталонных изображений, полученных путём визуализации объекта, который должен быть воспроизведён, получения множества преобразованных изображений, полученных путём увеличения или уменьшения каждого из множества эталонных изображений, выполнения машинного обучения на основании множества изображений, подлежащих изучению, которые включают в себя множество преобразованных изображений, и генерирования предварительно обработанных данных, которые используются для генерирования воспроизводимого изображения, представляющего внешний вид объекта."

Звучит очень сложно и запутанно, но по сути процесс сводится к тому, что система генерирует несколько кадров, потом многократно уменьшает и увеличивает их, запоминая особенности полученного множества изображений, учится и в итоге способна сразу производить кадры в конкретном заданном разрешении.

Отчасти это напоминает работу технологии DLSS от NVIDIA — там тоже задействована нейросеть, которая учится на множестве последовательных кадров, а потом может «восстанавливать» изображения изначально сгенерированные в Full HD до, например, 4К. Это позволяет видеокарте тратить меньше времени и ресурсов на производство каждого кадра и выдавать больше fps без видимой потери качества и детализации.

На данный момент на PlayStation 4 Pro используется менее эффективный алгоритм «шахматного» рендеринга, который создаёт видимые артефакты и требует производить изначальные кадры в 50% от итогового разрешения, тогда как NVIDIA DLSS работает «чище» и требует рендерить кадры размером всего в 25% от отображаемых в итоге.

Комментарии: