Как использовать нейросети для разработки игр

2019-10-08 10:50

Нейросети в разработке игр могут применяться в таких задачах, как генерация персонажа в 3D из снимка в 2D, анимация персонажа, генерация игровых локаций. Мы даем краткую выжимку последних статей для каждого из применений нейросетей в геймдеве.

Стилизация изображений

Задача стилизации изображения заключается в том, что бы модифицировать входное изображение в соответствии с определенным стилем. В качестве отсылки к стилю обычно берется второе изображение. На выходе модель отдает модифированное изображение. Одним из применений такой модели для разработки игр является генерация аватара пользователя.

Face-to-Parameter Translation for Game Character Auto-Creation

Где: ICCV’19

Кратко о чем там

Генерируют изображение игрового персонажа на основе одной фотографии лица. Решают задачу поиска из возможные черт лица, две функции потерь: “discriminative loss” и “facial content loss”. Используют imitation learning. Единственный конкурирующий подход — 3DMM-CNN.



		Как использовать нейросети для разработки игр
МЕНЮ Искусственный интеллект Поиск Регистрация на сайте Помощь проекту ТЕМЫ Новости ИИ Искусственный интеллект Голосовой помощник Городские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Слежка за людьми Угроза ИИ Разработка ИИ ИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Внедрение ИИ Big data Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Техническое зрение Чат-боты Работа разума и сознание Изучение сна Изучение сознания Психология Работа головного мозга Работа памяти Работа разума Модель мозга Модель мозга Робототехника, БПЛА Беспилотные автомобили БПЛА Робототехника Трансгуманизм Трансгуманизм Обработка текста Анализ социальных сетей Компьютерная лингвистика Лингвистика Поисковые алгоритмы Теория эволюции Головной мозг Нейронные сети Поведение животных Теория эволюции Дополненная реальность Виртулаьная реальность Дополненная реальность Железо Интернет вещей Квантовые компьютеры Нейронные процессоры облачные вычисления Суперкомпьютеры Киберугрозы Кибербезопасность Научный мир Методы исследования Наука и образование Семинары ИТ индустрия ИТ-гиганты Новости ит Разработка ПО Разработка ПО Теория алгоритмов Теория информации Кластеризация Математика Актуальная математика Статистика Теория вероятности Теория информации Теория хаоса Цифровая экономика Технология блокчейн Цифровая экономика Авторизация RSS RSS новости		2019-10-08 10:50 нейросети новости Нейросети в разработке игр могут применяться в таких задачах, как генерация персонажа в 3D из снимка в 2D, анимация персонажа, генерация игровых локаций. Мы даем краткую выжимку последних статей для каждого из применений нейросетей в геймдеве. Стилизация изображений Задача стилизации изображения заключается в том, что бы модифицировать входное изображение в соответствии с определенным стилем. В качестве отсылки к стилю обычно берется второе изображение. На выходе модель отдает модифированное изображение. Одним из применений такой модели для разработки игр является генерация аватара пользователя. Face-to-Parameter Translation for Game Character Auto-Creation Где: ICCV’19 Кратко о чем там Генерируют изображение игрового персонажа на основе одной фотографии лица. Решают задачу поиска из возможные черт лица, две функции потерь: “discriminative loss” и “facial content loss”. Используют imitation learning. Единственный конкурирующий подход — 3DMM-CNN. Ссылка Generating High-Resolution Fashion Model Images Wearing Custom Outfits Где: ICCV’19 Кратко о чем там На вход подается список изображений вещей, на выходе генерируется изображение человека в одежде. Архитектура — Style GAN, немного модифицированная. Тренируют unconditional и conditional GAN. У unconditional результаты по FID метрике более правдоподобные. Дополнительно unconditional GAN тренируют решать задачу переноса позы и цвета одежды. Ссылка A Closed-form Solution to Photorealistic Image Stylization Где: ECCV’18 Кто: NVIDIA Кратко о чем там Генерируют стилизованные фотореалистичные изображения. Обучение делится на два шага: стилизация изображения и увеличение реалистичности сгенерированного изображения (smoothing step). Подход схож с Luan (2017) и WCT (2017). Ссылка Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs Где: CVPR’19 Кратко о чем там Генерируют рисунок по фотографии с помощью иерархической GAN. Суть иерархической GAN в двухступенчатом генераторе (1 глобальная нейросеть и 6 локальных) и в двухступенчатом дискриминаторе (1 глобальная нейросеть локальных). 6 SOTA методов, с которыми сравнивались: Gatys, CNNMRF, Deep Image Analogy, Pix2Pix, CycleGAN, Headshot Portrait. Общепринятая метрика — Frechet Inception Distance. Ссылка Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation Кратко о чем там Решают задачу image-to-image генерации. Это можно рассматривать как indirect style transfer. U-GAT-IT включает в себя модуль с вниманием и обучающуюся функцию нормализации. Модуль внимания учит модель фокусироваться на более важных частях изображения при генерации целевого изображения из входного. Прошлые модели с модулем внимания не были устойчивы к изменениям в формах между целевым изображением и reference изображением. Ссылка Генерация 3D из 2D изображений Модели, которые решают эту задачу, генерируют 3D модель объекта на основе одного или нескольких входных изображений. В разработке игр такие модели могут использоваться для виртуализации каких-то объектов из реальной жизни и создания более персонализированного аватара. Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks Кратко о чем там Используют GAN для генерации 3D модели лица человека. Дополнительно накладывают условия на GAN, чтобы модель генерировала 3D модель лица с заданным выражением. Ссылка Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization Кратко о чем там На вход модели подается одно или несколько изображений. Цель — восстановить 3D геометрию и текстуру одетого человека, сохранив при этом детали изображения. Предложенный алгоритм состоит из полностью сверточного кодировщика изображений и непрерывной функции, которая переводит эмбеддинг изображения в 3D-поверхность. Эта функция основана на многослойных перцептронах. Ссылка Dual Attention MobDenseNet for Robust 3D Face Alignment Кратко о чем там Реконструируют 3D модель лица человека из одного изображения. Архитектура — сверточная нейросеть, в каждом слое есть блок Spatial group-wise enhance для улучшения распространения черт лица в разных ракурсах. Ссылка Генерация уровней и локаций Модель принимает на вход изображение локации или граф, описывающий ее составляющие, и генерирует локацию в формате изображения или 3D модели. Это может упростить процесс создания игровых сцен при разработке игр. DeepView: View Synthesis with Learned Gradient Descent Кратко о чем там Нейросеть принимает на вход изображения одного вида с разных ракурсов и восстанавливает 3D модель. Ссылка Multi-branch Volumetric Semantic Completion from a Single Depth Image Кратко о чем там Восстанавливают 3D модель локации из одного изображения глубины (depth image). Используют несколько дискриминаторов, чтобы повысить реалистичность сгенерированной модели. Ссылка Image Generation from Scene Graphs Где: CVPR’18 Кратко о чем там Генерируют изображение из image graph (графовое представление содержания изображения). Используют один слой графовой сверточной сети и cascaded refinement network (CRN). Ссылка Graph R-CNN for Scene Graph Generation Где: ECCV’18 Кратко о чем там Решают ту же задачу, что Image Generation from Scene Graphs. Добавляют к графовой сверточной нейросеть механизм внимания и называют это attentional Graph Convolutional Network (aGCN). Ссылка Probabilistic Neural Programmed Networks for Scene Generation Где: NeurIPS’18 Кратко о чем там Генерируют изображение из текстового описания. Решение — PNPNet, вариационный автокодировщик. Ссылка Multi-Scale Local Planar Guidance for Monocular Depth Estimation Где: State-of-the-art на задаче Monocular Depth Estimation on KITTI Eigen split Кратко о чем там Предлагают метод для генерации depth images на основе одного изображения. Суть подхода — последовательно генерировать depth image для 1/8, 1/4 и 1/2 изображения (local planar guidance). Ссылка Лицевые анимации Такие модели генерируют анимированные аватары на основе голоса или изображений лица. Duration Informed Attention Network For Multimodal Synthesis Кратко о чем там Две модели внутри одной – одна генерирует голос на основе текста, а вторая — лицевую анимацию (координаты в 3D). Ссылка Data-Driven Physical Face Inversion Кто: DisneyResearch Кратко о чем там Генерируют 3D модель лица на основе нескольких изображений лица в разных ракурсах и предопределенной общей модели головы человека. Ссылка Few-Shot Adversarial Learning of Realistic Neural Talking Head Models Кто: Samsung AI, Skolkovo Кратко о чем там Генерируют видеозапись говорящего человека из одного его изображения и референс видео говорящего человека. Meta-learning часть модели включает в себя нейросеть, которая сопоставляет изображения головы (с размеченными точками на разных частях лица) с векторами, которые содержат информацию о характеристиках лица, независимых от расположения лица на изображении. Генератор из входных размеченных точек лица синтезирует через сверточные слои выходные изображения. Целевая функция включает в себя perceptual loss и adversarial loss (реализована через условный дискриминатор проекций). Ссылка 3D Face Synthesis Driven by Personality Impression Кратко о чем там На вход подается 3D модель лица и лейбл выражения лица. Модель модифицирует 3D модель лица так, чтобы выражение лица соответствовало лейблу. Ссылка Анимации персонажей Скелет персонажа восстанавливается по изображениям в полный рост. Такие модели могут использоваться в геймдеве для внедрения персонализированных аватаров пользователей полноценно в игру. Predicting Animation Skeletons for 3D Articulated Models via Volumetric Nets Кратко о чем там Модель предсказывает каркас анимированного объекта. На вход подается 3D модель объекта. Из 3D модели дополнительно извлекаются фичи о геометрической форме, которые используются для обучения нейросети. Ссылка 3D Character Animation from a Single Photo Кто: Facebook Кратко о чем там Анимируют персонажа в 3D на основе одного изображения. 3D модель персонажа может двигаться (бегать, садиться, ходить). Ссылка Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks Кратко о чем там Генерируют изображения аниме героя на основе заданной позы. Предлагают Progressive Structure-conditional GAN, чтобы минимизировать количество артефактов при генерации героя в полный рост. Ссылка Animation-by-Demonstration Computer Puppetry Authoring Framework Кратко о чем там Master of Puppets (MOP) — это фреймворк для анимации персонажа через демонстрацию действия. Пользователь показывает персонажу действие. Персонаж повторяет действие. Модель (hidden Markov model (HMM)) предсказывает дальнейшее действие, которое затем исполняется персонажем. Ссылка Источник: neurohive.io Комментарии:

Как использовать нейросети для разработки игр

Комментарии: