Sony раскрыла больше технических подробностей о PSSR 2.0 — новой версии системы интеллектуального апскейлинга для PlayStation 5 Pro

Sony раскрыла больше технических подробностей о PSSR 2.0 — новой версии системы интеллектуального апскейлинга для PlayStation 5 Pro. И судя по описанию, компания не стала просто «обучать нейросеть лучше». Вместо этого Sony изменила сам принцип работы технологии.

Главное отличие PSSR 2.0 — переход от практически полностью нейросетевой реконструкции изображения к гибридной архитектуре, где нейронные вычисления и традиционные блоки GPU работают вместе.

Нейросеть больше не делает всё сама

В первой версии PSSR нейросеть играла гораздо более значительную роль непосредственно в восстановлении итогового изображения. Такой подход позволял получать высокую детализацию из относительно низкого исходного разрешения, но требовал немалых вычислительных ресурсов.

В PSSR 2.0 Sony разделила задачи.

Теперь нейросеть в основном анализирует изображение: определяет геометрические границы объектов, распознаёт структуру сцены, помогает отделять полезные детали от шума и принимает участие в обработке информации о движении.

А уже после этого часть наиболее ресурсоёмких операций выполняют обычные вычислительные блоки GPU.

Иными словами, Sony фактически использует нейросеть не как полноценный «рендерер», а как интеллектуальный анализатор изображения.

Почему вычисления происходят в 540p и ниже?

Одно из наиболее интересных изменений — значительная часть нейросетевых операций теперь выполняется при разрешении 540p или даже ниже.

На первый взгляд это может показаться странным: зачем использовать низкое разрешение, если конечная цель — получить более детальную картинку?

Но именно здесь и заключается смысл новой архитектуры.

Нейросети не обязательно обрабатывать каждый пиксель финального изображения. Ей достаточно определить, где находятся границы объектов, какие элементы являются деталями, где присутствует шум и какую информацию необходимо сохранить.

После этого традиционные вычислительные блоки GPU могут выполнить последующие операции значительно эффективнее.

Так Sony снижает нагрузку на нейронную часть системы, не отказываясь от её главного преимущества — способности анализировать сложную структуру изображения.

Изменился и сам фильтр

Sony также отказалась от прежнего выходного фильтра 3?3 и перешла к эллиптической фильтрации на основе распределения Гаусса.

Звучит довольно академично, но результат должен быть вполне практическим.

Фильтр отвечает за то, как соседние пиксели и восстановленная информация смешиваются между собой при формировании финального изображения. Более гибкая фильтрация позволяет лучше учитывать направление и структуру деталей.

Это особенно важно для тонких линий, мелких текстур, волос, растительности и других элементов, которые традиционные методы апскейлинга часто превращают в размытие или мерцание.

Самое впечатляющее — скорость обучения

Однако, пожалуй, наиболее интересное изменение касается не самой картинки, а разработки технологии.

Sony заявляет, что благодаря новой архитектуре и оптимизации квантизации время обучения модели удалось сократить примерно с четырёх месяцев до одной недели.

Это огромная разница.

Раньше серьёзное обновление модели требовало длительного цикла обучения и тестирования. Теперь Sony потенциально может значительно быстрее экспериментировать с алгоритмами, находить проблемы и выпускать новые версии.

Для владельцев PS5 Pro это может оказаться не менее важным, чем непосредственное увеличение качества изображения.

Меньше задержка и расход памяти

Новая архитектура также должна уменьшить задержку обработки изображения и потребление видеопамяти по сравнению с первой версией PSSR.

Для игровой консоли это особенно важно.

Апскейлинг происходит практически в каждом кадре, поэтому даже небольшое снижение стоимости обработки со временем превращается в существенный выигрыш. Освободившиеся вычислительные ресурсы разработчики могут использовать для более сложного освещения, эффектов, физики или повышения стабильности частоты кадров.

Что это означает для игроков?

Главный вывод довольно простой.

Sony не пытается превратить PSSR в «магическую нейросеть», которая самостоятельно создаёт весь кадр. Вместо этого компания строит гибридную систему, в которой искусственный интеллект анализирует изображение, а GPU выполняет те операции, с которыми он справляется эффективнее.

Получается своеобразное разделение труда:

нейросеть понимает, что находится на экране ? GPU решает, как это эффективно восстановить ? PSSR формирует финальное изображение.

Именно такой подход может оказаться более перспективным для консольного железа.

PS5 Pro имеет ограниченный энергетический и вычислительный бюджет, поэтому максимальная эффективность каждого транзистора здесь гораздо важнее, чем просто увеличение мощности нейросетевой части.

Если Sony действительно сможет сочетать более высокое качество реконструкции с меньшими затратами памяти, задержкой и вычислительной нагрузкой, PSSR 2.0 может стать одной из самых важных технологий PS5 Pro — не из-за громкого названия, а благодаря тому, насколько рационально теперь используется железо консоли.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: