Технический процесс создания концертных сцен виртуальных персонажей

Marza Animation Planet (далее Marza) принимала участие в создании виртуальных концертов для Криптона с 2009 года и до 2017 года.

Но немного объясню от себя, Marza действительно участвовала в некоторых концертах для Crypton в 2009-2017 годах, но не была основной студией для всех проектов. Marza в основном занималась анимацией, обработкой захвата движения (motion capture), настройкой моделей и физикой тканей, но не разрабатывала модели с нуля! Нам широко известные модели от SEGA и LATEGRA.

На один концерт обычно привлекают 4 аниматоров, а если выступление с множеством персонажей, то до 10-ти.

Один аниматор отвечает за анимацию одного персонажа в одной песне, включая настройку симуляции тканей.

Среднее время работы над одной песней - 12 дней, но сложные выступления (например, когда персонаж использует веер или посох) могут занимать до 22 дней

Основы анимации: от захвата движения до финальной сцены

Основой для анимации служит "motion capture". Съёмки проходят под руководством заказчика, но CG-модели для предварительного просмотра предоставляет Marza. Перед началом работы аниматоры проверяют чёрновые версии хореографии и вносят корректировки, например, если костюм с объёмной юбкой требует изменения движений рук, чтобы избежать пересечения.

На этапе доработки аниматоры вручную корректируют движения, если исходные данные выглядят неестественно. Например, если танец был записан с актёром, чьи пропорции отличаются от пропорций Мику, его приходится адаптировать, чтобы сохранить эстетику движений.

Также, если персонажи носят длинные элементы костюмов, такие как мантии, для сцен с их пересечением создаются дополнительные физические симуляции, чтобы избежать неестественных наложений.

"Перед съёмкой мы проверяем видео с хореографией, и если нужно, запрашиваем изменения. Например, если персонаж танцует в пышной юбке, то если опустить руки прямо вниз, они могут "проваливаться" в ткань", - объясняет Кодама.

Лицо, эмоции и реалистичность движений

Липсинк создаётся с помощью внутреннего инструмента "Lip Sync GUI", разработанного на MEL (Maya Embedded Language). Он позволяет быстро задавать основные формы рта и автоматически корректировать их по громкости и характеру звуков.

Однако финальная доводка происходит вручную: аниматоры редактируют кривые движения губ и добавляют естественные нюансы, например, силу открывания рта при произношении "ма" или "па".

* При озвучивании «ма», «па» и подобных звуков инструмент также добавляет движение закрытия рта автоматически.

Почему липсинк корректируется вручную?

"С самого начала липсинк создавался на основе финальной версии песни, без отдельной дорожки вокала. Поэтому анализатор речи использовать не могли.

Даже если бы можно было его применить, программа устанавливает ключи на каждый кадр, что значительно увеличило бы объём правок.

Чтобы добиться идеального совпадения с вокалом без смещения даже на 1 кадр, ручная настройка на слух и вручную оказалась быстрее и точнее", - объясняет Киносита.

Гибкая настройка взгляда с "eye to cam"

Взгляд персонажей управляется автоматизированным инструментом "eye to cam". Он работает на базе матриц и векторов, поэтому не вызывает ошибок при поворотах головы.

- Аниматор может настроить процент следования за камерой, чтобы избежать эффекта "завернутых зрачков".

- Корректируются ключевые моменты, чтобы персонаж не выглядел статичным.

- Персонаж не просто смотрит в камеру, но также реагирует на окружающее пространство, оглядывает зрителей и взаимодействует с ними, создавая эффект живого выступления.

Коррекция волос и костюмов

Волосы и костюмы тоже требуют особой доработки. Например, анимация хвостиков Мику корректируется вручную по трём правилам:

1) Они не должны зацепляться за ноги.

2) Не должны касаться земли.

3) Не должны портить силуэт персонажа.

Базовая настройка симуляции задаёт общие параметры, но аниматоры затем вручную дорабатывают детали, чтобы избежать случайных физических ошибок.

Общий процесс создания анимации

- Липсинк (синхронизация губ) создаётся заранее, сразу после получения аудиофайла с песней.

- Когда поступают данные с захвата движений, проводится доработка движений тела и мимики.

- Затем корректируются физические симуляции (волосы, одежда и т. д.).

- После этого идут освещение, рендеринг и композитинг.

Главная цель - создать эффект реального присутствия

"Мы стремимся сделать так, чтобы зритель действительно чувствовал, что Мику или айдолы "там есть" на сцене.

Поэтому мы уделяем внимание позам: например, избегаем ситуаций, когда руки закрывают лицо, или когда персонаж стоит с неестественно расставленными ногами.

Также прорабатываем дыхание, направление взгляда и мимику, чтобы достичь максимального реализма", - говорит менеджер команды Animation1 Хикичи Норико.

Дополнительные доработки:

- Если у персонажей длинные мантии, при пересечении друг с другом аниматоры проводят повторную симуляцию тканей, чтобы создать естественность.

- Даже если актёр идеально исполнил танец, движения могут выглядеть неестественно на Мику, так как её пропорции отличаются от человека. В этом случае позы корректируются вручную, чтобы в каждом кадре сцена смотрелась гармонично.

- Слишком активные движения смягчаются.

- Недостаточно выразительные моменты усиливаются вручную аниматорами.

- Герой не смотрит в камеру постоянно, а также оглядывается по сцене, смотрит на зрителей, делает "фансервисные" жесты,

чтобы создать эффект живого концерта.

Источник: https://cgworld.jp/article/202503-marza-3.html

* Материал основан на статье из журнала CGWORLD (выпуск №319, март 2025 года)

Источник: cgworld.jp

Комментарии: