Исследователи NVIDIA разработали новый алгоритм сжатия текстур материалов с использованием нейросетей - NTC

Заявляется, что NTC обеспечивает в 4 раза более высокое разрешение (на 16 текселей больше), чем классическое BC (блочное сжатие), а качество и битрейт лучше, чем в форматах JPEG XL или AVIF.

Алгоритм NVIDIA представляет текстуры в виде тензоров (трех измерений), но без каких-либо предположений, как при блочном сжатии (например, количества каналов). Единственное, что предполагает NTC, это то, что каждая текстура имеет одинаковый размер.

В то же время новый метод позволяет производить декомпрессию по запросу в реальном времени с произвольным доступом, аналогичную блочному сжатию текстур на графических процессорах. Ключевой идеей этого подхода является сжатие нескольких текстур материалов и их цепочек MIP-карт вместе, а также использование небольшой нейронной сети, оптимизированной для каждого материала, для их распаковки. Этот алгоритм использует методы умножения матриц, которые теперь ускоряются современными графическими процессорами.

Как следствие, мы можем ожидать более эффективного использования пропускной способности памяти в ускорителях Nvidia, что должно несколько нивелировать ограничения шины и частоты памяти. Ход умный, так как Nvidia смогут получить фактически большую производительность благодаря программному решению на более дешевом по себестоимости железе.

Было бы настоящим подарком, если бы NTC появилась и на уже вышедших видеокартах с тензорными ядрами, но, скажите откровенно, вы верите, что Хуанг пойдет на такой шаг и сделает RTX 2000, 3000 и 4000 более крутыми? Или скорее он представит NTC как технологию специально для RTX 5000 и новее?

Источник: vk.com

Комментарии: