Этот проект исследует возможности глубокого обучения для анимации персонажей и управления ими в рамках моих докторских исследований в Эдинбургском университете в Школе информатики под руководством Таку Комуры. За последние пару лет этот проект стал всеобъемлющей основой для анимации персонажей, управляемой данными, включая обработку данных, обучение сети и управление временем выполнения, разработанной в Unity3D / Tensorflow / PyTorch. Это хранилище демонстрирует использование нейронных сетей для анимации передвижения двуногих, передвижения четвероногих и взаимодействия персонажей с объектами и окружающей средой, а также спортивных и боевых игр. Дальнейшие достижения в этом исследовании будут по-прежнему добавляться в этот проект.
СИГГРАФ 2021
Наслоение нейронной анимации для синтеза движений боевых искусств
Себастьян Старк, Ивэй Чжао, Фабио Зинно, Таку Комура, ACM Trans. График 40, 4, Статья 92.
Интерактивное синтезирование новых комбинаций и вариаций движений персонажей из различных навыков движения является ключевой проблемой в компьютерной анимации. В этом исследовании мы предлагаем систему глубокого обучения для создания большого разнообразия движений боевых искусств контролируемым образом из необработанных данных захвата движения. Наш метод имитирует наслоение анимации с использованием нейронных сетей с целью преодоления типичных проблем при смешивании, смешивании и редактировании движений из несогласованных источников движения. Система может использоваться как для автономной, так и для онлайн-генерации движений, обеспечивает интуитивно понятный интерфейс для интеграции с рабочими процессами аниматоров и подходит для приложений реального времени, таких как компьютерные игры.
Не знаете, как выровнять сложные движения персонажа? Устали от маркировки фаз? Непонятно, как втиснуть все в одну фазовую переменную? Не волнуйтесь, решение существует!
Управление персонажами для выполнения большого разнообразия динамичных, быстро меняющихся и быстро меняющихся движений является ключевой задачей в анимации персонажей. В этом исследовании мы представляем систему глубокого обучения для интерактивного синтеза таких анимаций в высоком качестве, как из неструктурированных данных о движении, так и без какой-либо ручной маркировки. Мы вводим концепцию локальных фаз движения и показываем, что наша система способна вырабатывать различные навыки движения, такие как дриблинг мяча и профессиональные маневры в баскетбольных играх, стрельба, ловля, уклонение, несколько режимов передвижения, а также различные взаимодействия персонажей и объектов, все это генерируется в рамках единой структуры.
Анимация персонажей может быть легкой или сложной задачей - взаимодействие с объектами является одним из последних. В этом исследовании мы представляем нейронную машину состояний, основанную на данных систему глубокого обучения для взаимодействия персонажей и сцен. Сложность таких анимаций заключается в том, что они требуют сложного планирования периодических, а также апериодических движений для выполнения заданной задачи. Создание их в готовом к производству качестве не является простым и часто требует много времени. Вместо этого наша система может синтезировать различные движения и взаимодействия сцен из данных захвата движения и позволяет пользователю легко управлять персонажем в режиме реального времени с помощью простых команд управления. Поскольку наша модель непосредственно учится на геометрии, движения могут естественным образом адаптироваться к изменениям в сцене. Мы показываем, что наша система может генерировать большое разнообразие движений, включая локомоцию, сидение на стульях, переноску коробок, открытие дверей и избегание препятствий, все из одной модели. Модель является гибкой, компактной и масштабируемой и является первой из таких платформ для обработки задач взаимодействия сцен для анимации персонажей, управляемых данными.
Анимация персонажей может быть болью, особенно этих четвероногих монстров! В этом году мы представим наше недавнее исследование по анимации четвероногих и управлению персонажами на выставке SIGGRAPH 2018 в Ванкувере. Система может создавать естественную анимацию из реальных данных о движении, используя новую архитектуру нейронных сетей, называемую адаптивными к режиму нейронными сетями. Вместо оптимизации фиксированной группы весов система учится динамически смешивать группу весов в дополнительную нейронную сеть, основываясь на текущем состоянии персонажа. Тем не менее, система не требует меток для фазовых или локомоционных походок, но может учиться на неструктурированных данных захвата движения в сквозном режиме.
Эта работа продолжает недавнюю работу по PFNN (Нейронные сети с фазовой функцией) для управления символами. Демонстрация в Unity3D с использованием исходных весов для адаптивной локомоции по местности содержится в папке Assets/Demo/SIGGRAPH_2017/Original. Еще одна демонстрация на плоской поверхности с использованием символа Adam содержится в папке Assets/Demo/SIGGRAPH_2017/Adam. Для того, чтобы запустить их, вам необходимо загрузить веса нейронной сети по ссылке, указанной в Link.txt файл, распакуйте их в папку /NN и сохраните параметры с помощью кнопки пользовательского инспектора.
