Исследователи из Университета Южной Калифорнии, Pinscreen и Microsoft разработали технику рендеринга волос, основанную на методах глубинного обучения. Эта нейронная сеть может визуализировать в 3D модели волос на основе эталонного 2D-изображения и является первой в своём роде, работающей в реальном времени. В играх методы рендеринга волос вроде NVIDIA GameWorks HairWorks или AMD TressFX Hair подчас приводят к значительному снижению производительности, даже если результат оказывается далёким от идеала. Вывод нескольких сотен тысяч отдельных волосков — очень ресурсоёмкая задача.
Но исследователи в области ИИ полагают, что свёрточная нейронная сеть поможет в реализации этой сложной задачи. «Реалистичное моделирование волос — одна из самых сложных задач при оцифровке виртуальных людей, — отметили исследователи. — В отличие от объектов, которые легко параметризуются, вроде человеческого лица, волосы охватывают широкий диапазон вариаций формы и могут быть очень сложными из-за их объёмной структуры и уровня деформируемости каждого волоска».
Чтобы обучить нейронную сеть, исследователи передали ей набор данных из 40 тыс. различных причёсок и 160 тыс. двумерных изображений с разных углов обзора. Цель была достигнута — нейронная сеть смогла создавать реалистичную трёхмерную визуализацию волос разной длины, стиля и цвета, пользуясь лишь одним 2D-изображением. За миллисекунды. Нейронная сеть также может имитировать видео и отображать движение отдельных прядей волос, взаимодействующих друг с другом.
«Волосы, воссозданные по нашему методу, могут точнее передавать детали и выглядят более естественными, — отмечают исследователи. — Особенно в случае с кудрявыми людьми». Это не идеальная система, некоторые причёски плохо воссоздаются. Однако исследователи полагают, что дальнейшее обучение алгоритма на основе ещё бо?льшего количества причёсок может помочь повысить качество.
Учитывая тот факт, что в будущих ускорителях NVIDIA появится поддержка ускорения задач машинного обучения (AI Tensor Cores), применение подобных методов для более качественной визуализации волос и других сложно алгоритмизуемых задач в играх будет вполне закономерным развитием событий. Пока же данная технология может существенно упростить жизнь разработчикам, позволив им создавать реалистичные волосы прямо на стадии захвата движений.