Кино про будущее уже здесь. Цифровые двойники на связи.

Google показала видеочат нового поколения. Даже нет, не так, это 3Д-чат с эффектом присутствия. Все, что могли сказать очевидцы - это "взрыв мозга".

Благодаря «Project Starline» человек, с которым вы разговариваете, появляется перед вами в 3D. «Вы можете увидеть их под разными углами, перемещаясь и даже глядя в глаза», - заявил Гугль во время предварительного показа проекта на своей конференции Google IO.

https://blog.google/technology/research/project-starline

Система называется «Project Starline» и представляет собой довольно непростую установку для видеочата, больше похожую на фото-будку. Платформа использует несколько камер и датчиков, чтобы запечатлеть внешность и фигуру человека с разных точек зрения. Затем она восстанавливает 3D-модель, которая транслируется в реальном времени(!) всем, с кем они общаются.

Тут сразу три реалтаймовых прорыва: фотограмметрия полного тела, ацкое сжатие потока данных и передача его на другой конец чата, распаковка и рендер всего этого хозяйства на другом конце.

На видео зрители описывают, как видят удаленных собеседников, как будто они находятся вместе в одной комнате. «Как будто она была прямо передо мной...»

Сейчас довольно сложное решение. Большая будка со специальным светом, камерами и скамейкой, на которой нужно сидеть. Google говорит, что это «оборудование, изготовленное по индивидуальному заказу, и узкоспециализированное железо». Wired пишет, что кабина содержит более десятка различных датчиков глубины и 65-дюймовый «дисплей светового поля», позволяющий отображать людей в 3D. И это еще один пример впечатляющего использования LightFields и результатов работы лаборатории Поля Дебевека, который перешел работать в Гугль несколько лет назад.

Кабина для видеочата в настоящее время доступна только в «некоторых» офисах Google, и в этом году компания планирует протестировать технологию с бизнес-партнерами.

В общем, год сидения в онлайне продвинул технологии виртуального общения примерно лет на 10. Если не на 15. Со времен создания Skype (2003) все сервисы видео-общения работали на улучшением качества картинки и обрастали лохмотьями (текстовых) социальных функций. А вот самой картинкой и информацией, которую из нее можно вытащить, все наконец-то занялись активно лишь в прошлом году.

Ибо выяснилось, что не всегда передача оригинала с наилучшим качеством так уж хороша, и что хочется его искусственно улучшить. А для этого надо расшифровать видеопоток и определить кожаный объект для улучшения: https://cgevent.ru/archives/33601

Выяснилось также, что народ не прочь одеть маски и поиграть в ролевые игры. Возник рынок аватаров и аватаростроения: https://cgevent.ru/archives/33420

Также стало понятно, что ужасный свет монитора, способен превратить вечернюю трансляцию в шоу живых бледнолицых мертвецов. Пришлось научить нейросетки "вычитать" или "учитывать и корректировать на лету" это свет и делать релайт лица: https://grail.cs.washington.edu/projects/Light_Stage_on_Every_Desk/

Нвидия сумела "расшифровать" лицо и передавать его не как картинку, а как набор изменений этих "расшифровок". По дороге корректируя направление взгляда и используя ГАНы для рендера: https://blogs.nvidia.com/blog/2020/10/05/gan-video-conferencing-maxine/

А появление MetaHumans от Эпика в 2021 году окончательно показало, что цифровые двойники - это больше не сценарии Черного Зеркала, а инструмент доступный каждому: https://cgevent.ru/archives/33712

Ну и «Project Starline» от Гугла - это квинтэссенция оцифровки "на лету". В пространстве возникает ваша цифровая копия, которая начинает носиться в сети. Пока по прямому маршруту видеотрансляции. Но что мешает ей свернуть в сторону и немного передохнуть в OmniVerse?

Источник: blog.google

Комментарии: