Выбираем оборудование захвата движений и актерской игры

Захват движения – это метод оцифровки движений человека или животного, используемый для последующего анализа и создания анимации. Кино- и игровые компании используют эту технологию (ее также называют «мокап»; от англ. «motion capture» или «mocap»), чтобы преобразовать движения реальных актеров в анимацию и тем самым оживить виртуальных персонажей.

• Захват актерской игры
• Типы систем захвата
  • Оптические
  • Инерционные
  • Гибридные
  • Системы с датчиком глубины
• Как понять, какая система вам нужна
• Захват лицевых движений
• Захват движений рук и пальцев
• Бюджет
• Пример 1, Siren 13
• Пример 2, SIGGRAPH 2018
• Заключение

Захват актерской игры

Поначалу мокап мог считывать лишь общие движения, из-за чего его можно было использовать только для анимации простых движений тела. Но недавно мокап-системы стали достаточно чувствительными для того, чтобы фиксировать более мелкие движения лица и пальцев, что позволило перенести в цифру всю актёрскую игру целиком. Этот более детализированный метод захвата движения получил название «захват актерской игры» (англ. «performance capture» или «pcap»).

Термины захват движений и захват актерской игры часто используют как синонимы, но на самом деле между ними есть серьезные отличие. Захват движений подразумевает запись только движений тела, а захват актерской игры включает в себя также мимику и голос.

Тони Ломонако, Ubisoft

Актёры могут использовать для оживления виртуальных персонажей весь спектр своего мастерства, а кино- и игроделы получают гораздо более полный набор мокап-данных для воплощения в жизнь своих цифровых творений. Но недавнее появление систем, способных выполнять захват актерской игры в реальном времени, дало толчок для появления новых типов изобразительных средств и способов коммуникации.

Изобр. 1; «Сессия захвата актерской игры для видео-демонстрации Siren Real-Time Performance (изображение любезно предоставлено Epic Games, 3Lateral и Tencent»

Но с системами pcap-класса есть пара проблем. Во-первых, они, как правило, дорого стоят, во-вторых, может потребоваться немало времени, чтобы научиться ими пользоваться, и в-третьих, обработка мокап-данных – не самая простая процедура. Поэтому, чтобы вы могли по максимуму распорядиться своими деньгами и временем, важно выбрать такую систему, которая будет отвечать вашим производственным нуждам и обеспечит данными, не требующими бездну пост-продакшена и долгого очищения от ненужной информации.

Ниже мы расскажем о том, как сделать этот выбор на примере двух реальных мокап-проектов:

• Видео-демонстрация «Сирен: захват актерской игры в реальном времени», выпущенная на GDC в 2018 году
• Победитель конкурса SIGGRAPH 2018 Real-Time Live!: «Демократизация мокапа: Полный захват актерской игры в реальном времени при помощи iPhone, Xsens, IKINEMA и Unreal Engine»

Обе эти системы – это технологии, работающие в реальном времени, но эта статья применима и к офлайн-системам.

Типы систем захвата движения

Перед тем, как покупать систему захвата актерской игры, следует понять, какие варианты присутствуют на рынке и чем они отличаются друг от друга по комплектации, точности, цене и соответствию вашим нуждам.

Во-первых, есть системы захвата актерской игры, которые можно классифицировать по типу используемой мокап-технологии. Ниже описаны самые распространенные решения (но ими рынок не исчерпывается).

Оптические системы

В оптических системах используются камеры, которые «видят» маркеры, расположенные на теле актера, и считывают трехмерную позицию каждого маркера много раз в секунду. Принцип работы таких систем прост, но они требуют много камер для того, чтобы каждый маркер в любой момент времени гарантированно считывался как минимум тремя камерами – это минимум, требуемый для определения позиции маркера в трехмерном пространстве.

Маркеры, которые «видит» камера, можно поделить на две категории: активные и пассивные. Активные маркеры излучают свет, который регистрируется камерами. Некоторые активные маркеры способны излучать пульсирующий свет, что позволяет отправлять камере дополнительную информацию о маркере (например, его ID).

Пассивные маркеры не излучают свет, а отражают его от внешнего источника – обычно им служит световое кольцо на камере. Они не передают данные о своем ID, поэтому система определяет ID маркеров путем анализа его движений относительно других маркеров, вместе формирующих математическую модель отслеживаемого субъекта.

Как нетрудно понять, активные маркеры более наворочены, и камеры могут заметить их, даже будучи на большом расстоянии от них. Но то, что в них содержится много электроники, делает их более громоздкими, чем пассивные маркеры. Кроме того, для их работы требуется электричество, поэтому субъекту также приходится носить на себе аккумуляторную батарею.

Оптическим системам требуется большое количество отслеживающих камер, что сказывается на их портативности и цене. Также стоит отметить, что маркеры будут хорошо видны на одежде актера, что будет создавать проблемы, если актер выступает на сцене или если его снимает камера.

Оптические системы могут захватывать движения и тела, и лица. Хотя лицевым оптическим системам требуется меньше камер, чем системам для тела, для их использования обычно также требуется громоздкий шлем, который, возможно, будет мешать актерской игре.

Примеры систем, использующих оптическую технологию:

• Vicon
• PhaseSpace
• OptiTrack

Изобр. 2; «Мокап-костюмы с пассивными оптическими маркерами»

Инерционные системы

Инерционная система использует миниатюрные датчики, которые называются «инерционными измерительными устройствами» (от англ. «inertial measurement unit» или «IMU»). Они сочетают в себе гироскопы, магнетометры и акселерометры, измеряющие различные физические величины и вращения в различных точках тела. Полученные данные, как правило, беспроводным путем передаются на компьютер, но в некоторых системах они записываются на специальное устройство, которое на себе носит актер.

Тот факт, что эти датчики не должны быть видимыми, означает, что данные будут передаваться независимо от положения тела и того, где актер находится относительно декораций и других актеров. Эти датчики можно спрятать в одежде, благодаря чему это решение хорошо подходит для ситуаций, когда актер находится на сцене или его снимает камера.

Изобр. 3; «Инерционный костюм (фото любезно предоставлено Animal Logic)»

Изобр. 4; «Для спектакля «Буря», поставленного Royal Shakespeare Company в 2016 году, использовалась система захвата движения в реальном времени в виде костюма со спрятанными инерционными датчиками, которые носил на себе Марк Квортли, игравший Ариэля. Чтобы показать, что Ариэль заточен внутри дерева, создатели спектакля спроектировали 5-метровый аватар, мимикрирующий движения актера в реальном времени. Обратите внимание, что на актере надет тот же инерционный костюм, что и на фото выше – он сделан так образом, чтобы его можно было использовать прямо на сцене (изображения любезно предоставлены Тофером Макриллсом и RSC)»

IMU не умеют рассчитывать свою XYZ-позицию в трехмерном пространстве; вместо этого они рассчитывают позицию на основе имеющихся у них данных о движении. Это значит, что поза актера будет считываться правильно, а вот расположение актера в XYZ-пространстве, возможно, получится уже не таким точным. Эти типы систем предрасположены к позиционному «дрифту» – это означает, что со временем считываемая позиция актера может постепенно смещаться в сторону от того места, где он находится на самом деле.

Примеры систем, использующих IMU:

• Xsens
• Perception Neuron
• Rokoko
• NANSENSE

Гибридные системы

В последние годы стали появляться гибридные инерционно-оптические системы. Они объединяют в себе ряд преимуществ каждого из этих типов, но также избавлены от их недостатков.

В гибридных системах часто используются так называемые «шайбы» (англ. «puck»; они получили такое название, т.к. похожи по размеру на хоккейные шайбы) – автономные, портативные отслеживающие устройства. Их можно прикрепить либо к фиксированному месту, либо к мокап-костюму, объекту декораций или камере. Шайба может отслеживать и инерционные, и оптические данные, или то и другое сразу – в зависимости от ее внутренней начинки.

Изобр. 5; «Шайба OptiTrack Active (изображение любезно предоставлено OptiTrack)»

Изобр. 6; «Шайба VIVE Tracker, прикрепленная к ракетке VIVE (изображение любезно предоставлено VIVE)»Чаще всего встречаются два типа гибридных систем.

Системы с гибридизацией на уровне датчика

В системах этого типа гибридизация выполнена внутри датчика. Он использует оптическое отслеживание, чтобы получить информацию о позиции и ориентации, но также использует IMU, чтобы повысить точность отслеживания и предотвратить потерю данных, когда что-то блокирует линию обзора между датчиком и камерами.

IMU предоставляет данные о скорости и ускорении, которые можно использовать для предугадывания маршрута движения, когда оптическое отслеживание невозможно. Это предугадывание позволяет сгладить потери, возникающие при загораживании датчика, благодаря чему такой системе требуется гораздо меньше камер, чем типичной оптической системе, что снижает ее стоимость. Но эти гибридные системы могут быть довольно большими, т.к. содержат дополнительную электронику для измерения инерционных данных.

Вот примеры систем, использующих этот метод:

• VIVE Tracker
• OptiTrack Active Puck

Системы с гибридизацией на системном уровне

В системах этого типа гибридизация выполнена на уровне системы. К примеру, это может быть полноценный инерционный костюм плюс один или несколько оптических маркеров, обеспечивающих систему дополнительными позиционными данными, которые можно использовать для того, чтобы избежать «дрифта» инерционной системы.

И хотя этот подход использовали по-разному, хорошего сочетания двух этих источников данных добиться трудно. В теории вы можете, например, прикрепить маркеры к бедрам актера, а затем привязать к позициям этих маркеров данные инерционного костюма, которые отвечают за бедра. Но к какой бы части тела вы не прикрепили маркер, он не всегда будет двигаться в жестком соответствии с тазом актера – в силу особенностей работы бёдер. К примеру, если актер наклонится вперед, маркер скорее всего переместится вверх/вниз таким образом, что не будет правильно отражать положение таза актера. Из-за этого виртуальный скелет может присесть на корточки (или даже начать левитировать) в ситуации, когда актер просто наклоняется.

Пример системы, использующей этот метод:

• Инерционный костюм Xsens + VIVE Tracker (для отслеживания локации)

Системы с датчиком глубины

Эти системы используют одну или две камеры для считывания трёхмерной фигуры объекта при помощи световых паттернов. К примеру, этот подход применяется в знакомой многим камере Kinect – это довольно примитивная, но недорогая система захвата движения, не используемая в профессиональных целях.

Но специалистами эти системы из датчика глубины и камеры, как правило, используются только для захвата лицевых движений. Если прикрепить эти камеры к шлему, надетому на актера, они будут двигаться вместе с его головой и благодаря этому постоянно смотреть на его лицо. В итоге благодаря сочетанию двух факторов – во-первых, лицо человека способно лишь на ограниченный набор выражений, и во-вторых, область захвата сужается до одной небольшой области тела – такие системы могут обеспечить хороший уровень детализации движений лица для их последующей передачи цифровому персонажу в реальном времени.

Изобр. 7; «Камера, прикрепленная к голове (фото любезно предоставлено Ninja Theory, Cubic Motion и 3Lateral)»

Впрочем, датчик глубины всё же может быть полезен для отслеживания движений тела в случаях, когда вам не нужна точная модель тела человека, а лишь общие данные о том, что оно делает в данный момент. К примеру, в ситуации, когда вам необязательно знать точное расположение руки человека, а нужно знать лишь, движется ли она в сторону объекта или нет. Этот тип захвата движения особенно полезен в инсталляциях, когда вам нужно среагировать на движение пользователя, не вынуждая его одевать на себя специальное устройство для отслеживания движений. Примером могут служить образовательные инсталляции в музеях, где прохожие могут с помощью жестов взаимодействовать с экспонатами безо всякого дополнительного оборудования и его калибровки.

Вместе с профессиональными системами считывания глубины для захвата движений лица также поставляются дополнительные инструменты для обработки лицевых движений актера и преобразования сырых исходных данных о глубине в пригодную для использования информацию. Вдобавок к этим исходным данным о глубине вы, к примеру, можете получить данные о том, как сильно улыбается человек, или о том, как широко открыт его рот. Эти высокоуровневые абстракции, как правило, называют «блендшейпами» (от англ. «blend shape») или «морфами» (от англ. «morph target»). Их часто используют как дополнительную трансформацию при вращении головы виртуального персонажа.

Изобр. 8; «Выражение лица и процентные значения блендшейпов, соответствующие ему»

Изобр. 9; «Сетка лица, в реальном времени управляемая камерой iPhone X»Чтобы данные, собранные системой сканирования глубины, можно было использовать на вашем персонаже, вам сначала надо будет выполнить процесс маппинга – взять полученные блендшейпы и преобразовать их таким образом, чтобы они заработали на вашем персонаже. Процесс блендшейп-маппинга для лицевой сетки аватара может быть долгим и скучным, так как требует много ручной работы. Но когда маппинг будет готов, вы затем сможете использовать результат на любом актере – система выдаст для вашего персонажа одинаковый набор эмоций и выражений, независимо от актера, участвующего в захвате движения.

Если у вас уже есть опыт работы с какой-либо системой расчета глубины, в будущем вы можете делать лицевой риггинг персонажей специально таким образом, чтобы он сразу отвечал особенностям этой системы – это сэкономит время при работе над маппингом.

Примеры систем, использующих датчик глубины:

• Cubic Motion Persona HMC
• iPhone X с приложением LIVE Face

Как понять, какая система вам нужна

Прежде всего, важно понять, какой тип данных вам нужен, потому что от этого будет зависеть то, какое оборудование вам понадобится. Есть два главных типа данных: о позе и позиции.

Поза против позиции

В первом случае движения актера захватываются лишь относительно него самого. То есть она захватывает движения относительно фиксированной точки примерно в районе таза или бедер актера. Во втором случае движения актера и камер захватываются относительно фиксированного места в пространстве – благодаря этим данным можно определить позицию каждого актера относительно других актеров и камеры. То есть система захватывает движения каждого актера и камеры относительно начальной координатной XYZ-точки (0,0,0) в пространстве.

Перед каждой сессией захвата движения вам надо будет решать, какая именно система вам нужна, поскольку при считывании данных относительно таза/бедер, во-первых, генерируются менее сложные данные, а во-вторых, настройка системы осуществляется проще. Поэтому, если вашу задачу можно успешно выполнить с помощью этого более легкого способа, то можете спокойно продолжать им пользоваться.

Систему, захватывающую данные о позе, можно использовать, если ваш проект отвечает всем нижеследующим критериям:

• Во время захвата движения актеры не взаимодействуют с другими актерами или отслеживаемыми декорациями.
• Вам не нужно отслеживать камеру для последующей работы с фоном, находящимся за персонажем/персонажами. Так бывает в случаях, когда…
  • Вы планируете, что камера будет статичной на всех кадрах, и не против подогнать фон вручную на пост-продакшене;
  • Весь фон – одного и того же цвета, даже если камера будет двигаться.

К примеру, использование такой системы применимо, когда вы планируете захватывать движения актеров, танцующих друг с другом, но не касающихся друг друга, а при финальном рендеринге вы будете переключаться между видами со статичных камер. Если один актер держит что-то вроде кружки, то движение этой кружки будет добавлено позже на стадии пост-продакшена, т.е. отслеживаться как отдельный объект во время захвата движения актеров она не будет.

Систему, захватывающей данные о позиции, нужно использовать, если верно хотя бы одно из нижеследующих условий:

• Вам нужно захватывать движения сразу нескольких персонажей, взаимодействующих друг с другом – жмущих друг другу руки, сражающихся, обнимающихся и т.д.
• Если у вас есть отслеживаемый объект, и во время захвата движения с ним взаимодействует как минимум один персонаж.
• Камеры движутся во время сцены, и вам нужно отслеживать их и/или фон для того, чтобы в дальнейшем привести их в соответствие с главным действом в кадре.

При захвате данных о позиции требуется оптическая или гибридная мокап-система. А при захвате данных о позе можно использовать и оптическую, и инерционную, и гибридную системы.

Если у вас есть возможность легка поменять сценарий таким образом, чтобы вместо захвата данных о позиции надо было захватывать данные о позе, советуем именно так и сделать – это даст вам больше возможностей, а также позволит сэкономить время и деньги.

К примеру, для проекта Siren мы использовали позиционную систему, т.к. наш персонаж двигался и нам нужно было знать, в каком месте он находится. Но в проектах Kite & Lightning можно было использовать систему, захватывающую данные о позе, потому что персонажи мало двигались и не касались друг друга. Ниже мы рассмотрим это более подробно.

Изобр. 10; «Данные о движении актрисы передавались виртуальному аватару прямо во время движения (изображение любезно предоставлено Epic Games, 3Lateral и Tencent)»

Захват лицевых движений

Если вам нужно выполнить захват речи или выражений лица, то здесь только два варианта – оптическая система или система из датчика глубины и камеры. Инерционные IMU в этом случае не подходят, т.к. они слишком велики, а движения, которые нужно захватить – малы.

Оптическая система даст более точный результат, чем система из датчика движения и камеры, но при ее использовании к лицу также надо прикреплять маркеры, а их настройка требует много времени. Кроме того, при резких движениях маркеры часто отваливаются. По этой причине маркеры часто рисуют прямо на лице, чтобы у системы были дополнительные ориентиры для отслеживания лицевых движений.

Изобр. 11; «На лице актрисы Мелины Юргенс нарисованы маркеры, а захваченная таким образом анимация была перенесена на героиню Сеную из игры Hellblade: Senua’s Sacrifice, разработанной Ninja Theory. 3Lateral использовала свою проприетарную систему 3D-сканирования для захвата актерской игры Юргенс и создала двойной цифровой риггинг лица, а благодаря технологии Rig Logic от той же 3Lateral этот риггинг можно было использовать в реальном времени. Затем Сеную оживили при помощи технологий Cubic Motion для генерации лицевой анимации в реальном времени (изображение любезно предоставлено Ninja Theory, Cubic Motion и 3Lateral)»

Изобр. 12; «Шлем с датчиком движения и камерой для захвата лицевых движений (изображение любезно предоставлено Digital Domain)»

Чаще всего в системах захвата лицевых движений в реальном времени используется шлем, к которому крепко прицеплена камера, висящая перед лицом актера. Стоит отметить, что висящая прямо перед глазами камера может отвлекать человека и мешать ему играть свою роль. Особенно это касается актеров, у которых мало или вообще нет опыта работы с таким оборудованием. Но если вам нужен лицевой захват в реальном времени, а актер по сценарию должен двигаться, то это наилучший вариант.

Если же актер находится в статичном положении или захват осуществляется не в реальном времени (чтобы лишь потом применить полученные данные к виртуальному персонажу), то можно воспользоваться и системой без шлема. Пример такого решения – это система Medusa от Disney.

Также определитесь с тем, нужны ли вам лишь выражения лица или плюс к этому нужны еще и речевые движения. Если последнее, то ваша система, как правило, должна быть гораздо более чувствительной.

Захват движений рук и пальцев

Вам также нужно будет определиться с тем, какой уровень точности вам нужен при захвате движений рук и пальцев. Большинство мокап-систем поддерживают вполне приличную степень точности для считывания базовых движений и вращений кисти, и этого часто хватает для анимации простых вещей вроде ходьбы или ведения беседы. Но захват движений отдельных пальцев – это, как правило, более сложная задача.

Если персонаж берет объект или его пальцы выполняют какое-то движение в ситуации, когда важно позиционирование (например, персонаж указывает на что-то или поглаживает бороду), то советуем воспользоваться системой захвата движений пальцев – разве что вы не планируете анимировать их вручную. Если вы уже присмотрели мокап-систему, узнайте, поддерживает ли она захват движений пальцев, и если да, также узнайте типы данных, которые она считывает. К примеру, некоторые системы считывают только сгибание пальцев, а разведение пальцев в стороны – нет.

Изобр. 13; «Перчатка Manus OptiTrack Hybrid Glove оснащена и IMU, и оптическими датчиками, чтобы максимально точно отслеживать движения пальцев»

Если система, которую вы присмотрели, не поддерживает захват движений пальцев напрямую, на рынке можно найти устройства, которые можно использовать в качестве дополнения к вашей главной системе. Эти отдельные системы, как правило, выполнены в виде перчаток и используют IMU или тензометрические датчики (датчики деформаций) для измерения позиции пальцев актера. Эти данные затем объединяются с данными кисти, считанными главной мокап-системой.

Бюджет

Итак, подходящая мокап-система присмотрена, деньги есть, решение попрощаться с ними – тоже. Что дальше? Три варианта: вы можете обратиться к компании, которая предоставляет мокап-услуги, арендовать мокап-систему и самому ею воспользоваться или купить мокап-систему и самому ею воспользоваться.

Первый вариант подходит для тех, кто прежде никогда не работал с системами захвата актерской игры или если оборудование, которое вы присмотрели, слишком сложное. Мокап-компания поможет выбрать хорошую систему, отвечающую вашим нуждам, предоставит место и персонал для мокап-сессии и в конце концов отправит вам данные, полученные в ее результате. Даже если вы планируете делать захват актерской игры регулярно, эта сессия (или серия сессий) поможет получить более чёткое понимание того, что вам понадобится, когда вы будете покупать собственную систему.

Арендовать оборудование имеет смысл, если мокап вам нужен лишь изредка, и вы точно знаете, что вам нужно. Вам также понадобятся 1-3 технических специалиста для настройки оборудования, а также для переноса, управления и очистки мокап-данных. Но преимущество аренды перед покупкой в том, что вам не нужно будет следить и ухаживать за всем этим оборудованием, пока оно вам не нужно.

Покупка системы захвата актерской игры – а это может потребовать немало денег – оправдана, если вы планируете использовать ее достаточно регулярно, точно знаете, что хотите, а также имеете компетентных сотрудников, имеющих работать с этим оборудованием и обслуживать его.

Каких-то незыблемых правил покупки или аренды систем для захвата актерской игры нет. Цены на них постоянно скачут вверх/вниз в зависимости от спроса и других факторов.

Вот краткое руководство по ценам на системы захвата актерской игры на момент написания этой статьи:

• Отслеживающая система с шайбой – $
• Бюджетная инерционная система – $
• Гибридная система $/$$ (в зависимости от инерционного костюма)
• Топовый инерционный костюм – $$
• Аренда профессиональной мокап-студии – $$ в день
• Создание собственной мокап-студии – $$$$

Сколько будет актеров?

Важным определяющим фактором в выборе системы будет то, сколько актеров будет одновременно участвовать в мокап-сессии.

Как правило, наиболее дешевой «стартовой» системой для захвата движения одного актера является инерционная система. Но если вам нужно одновременно захватывать движения нескольких персонажей, расходы на несколько инерционных костюмов могут запросто обскакать стоимость одной оптической системы.

	Инерционная система	Оптическая система
1 актер	$	$$$$
2-3 актера	$$	$$$$
4-5 актеров	$$$$	$$$$
6 актеров	$$$$$$$	$$$$

Хотя цена оптической системы изначально выше, ее цена не растет вместе с количеством актеров.

Если вам нужно сделать мокап нескольких актеров, но бюджет очень мал, вы можете купить один инерционный костюм, а затем сделать мокап каждого актера по отдельности. Но этот вариант применим, только если актеры не касаются друг друга и вам не надо отслеживать фон/камеру (т.е. если вы можете использовать систему, захватывающую данные о позе). При использовании этого метода вам добавится работы на пост-продакшене, но зато он сэкономит вам денег на покупку начального мокап-оборудования.

Конкретные примеры

Чтобы помочь вам выбрать систему захвата актерской игры, давайте рассмотрим в качестве примеров несколько недавних проектов в этой области. Каждый из них сделан под определенные нужды и использует разные технологические решения, соответствующие поставленной задаче.

Siren

В видео «Сирен: захват актерской игры в реальном времени», показанном на GDC 2018, Epic Games создала цифровую женщину по имени Сирен, в реальном времени управляемую мокап-актрисой. Виртуальный аватар Сирен имитировала актрису почти во всем – система захватывала речь, голос, а также движения лица и тела.

Изобр. 14; «Персонаж Сирен, вживую управляемая актрисой, включая речь и базовые движения рук (изображение любезно предоставлено Epic Games, 3Lateral и Tencent)»

Готовя это демо, мы сначала составили список того, что нам было нужно.

Во-первых, была важна позиция. Мы хотели использовать двигающуюся виртуальную камеру, и это значит, что нам нужно было отслеживать и камеру, и актера, чтобы их позиции соответствовали друг другу.

Нам также нужны были движения лица, т.к. во время демонстрации Сирен должна была говорить со зрителями. Но мы не хотели использовать маркеры на лице актрисы, поскольку это должна была быть живая демонстрация, а мы не могли допустить, чтобы маркеры отвалились с ее лица прямо во время презентации. В итоге мы решили использовать для захвата лицевых движений камеру и датчик глубины.

Но для тела мы все же решили воспользоваться видимыми маркерами, т.к. знали, что можем прикрепить их достаточно крепко к мокап-костюму, и они не отвалятся даже в самые ответственные моменты презентации.

Мы также хотели, чтобы Сирен могла шевелить пальцами. Но нам не нужна была точная детализация, а лишь возможность естественно двигать ими во время общения.

Поскольку нам была важна позиция, и нам не надо было прятать маркеры, для тела мы решили воспользоваться оптической маркерной системой Vicon. Система из датчика глубины и камеры для захвата лицевых движений предполагала огромное количество вариантов, но мы остановили выбор на мокап-системе Cubic Motion, т.к. уже работали с ней раньше.

Поскольку движения пальцев не должны были быть максимально точными, мы могли использовать Vicon и тем самым избежать необходимости использовать дополнительную мокап-систему. Для отслеживания ключевых точек на пальцах мы использовали программу Vicon Shogun, а затем применили полученные данные в тех точках виртуальных пальцев, что давали убедительный результат.

Победитель конкурса SIGGRAPH 2018 Real-Time Live! (Kite & Lightning)

До экспериментов с захватом движения в реальном времени лос-анджелесская компания Kite & Lightning работала над несколькими VR-проектами. Один из основателей компании Кори Страсбургер решил взять несколько персонажей-детей из их игры Bebylon Battle Royale и разработать систему, где вы могли бы управлять этими персонажами при помощи мокапа в реальном времени. В результате их демонстрация «Демократизация мокапа: Полный захват актерской игры в реальном времени при помощи iPhone, Xsens, IKINEMA и Unreal Engine» стал победителем соревнования SIGGRAPH 2018 Real-Time Live!

Изобр. 15; «iPhone X здесь служит одновременно датчиком глубины и камерой для захвата движений лица (изображение любезно предоставлено Kite & Lightning)»

Для движений тела им было достаточно системы, захватывающей данные о позе, поскольку персонажи находились на статичном фоне, не трогали друг друга и мало ходили. На Кори был надет инерционный костюм Xsens MVN, а для передачи потоковых данных о движении тела из мокап-костюма в Unreal Engine использовалась программа IKINEMA LiveAction.

Для захвата движений лица он прикрепил к пейнтбольному шлему iPhone X, а для передачи данных в Unreal Engine использовалась платформа ARKit от Apple. Более подробно об этом решении можно прочесть в блоге Unreal Engine. Цифровая студия Animal Logic использовала похожий подход для захвата актерской игры и передачи мокап-данных в реальном времени на фигурку Lego, о чем можно также прочесть в блоге Unreal Engine.

Полную документацию о том, как использовать систему распознавания лицевых движений iPhone X в Unreal Engine читайте по этой ссылке.

Итого

Хотя на выбор системы захвата актерской игры может уйти немало времени, он окупится, когда вы найдете систему, подходящую и для ваших задач, и для вашего бюджета.

Теперь, зная функционал, плюсы и минусы систем захвата позиции, позы, движений лица и пальцев, а также понимая ценовую разницу между арендой и покупкой своей системы, вы сможете принимать более взвешенные решения относительно мокап-проектов.

Мы старались предоставить в этой статье максимально точную и правдивую информацию, но важно помнить, что рынок захвата актерской игры эволюционирует, продолжая меняться почти ежедневно. Мы не перестаем удивляться новым технологиям и гибридным решениям, которые доказывают изобретательность специалистов, работающих в этой сфере. Мы также удивляемся (и радуемся), когда видим, как эти системы, ранее бывшие лишь привилегией больших студий, постепенно становятся доступны все более широкому диапазону проектов и бюджетов.

И мы надеемся, что вы тоже не будете отставать за развитием систем захват актерской игры, которые со временем будут становиться всё быстрее, точнее, дешевле и проще в использовании.

Перевод книги «Choosing a real-time performance capture system»
Автор Дэвид Хиббиттс @MrHibbitts

Источник: www.progamer.ru

Комментарии: