Группы исследователей часто экспериментируют с видео контентом при помощи нейросетей. Взять к примеру NVIDIA, которая в конце 2017 года обучила нейронную сеть менять погоду и время суток на видео. Очередной проект подобного рода запустили исследователи из Университета Карнеги-Мелона, создавшие нейросеть для наложения мимики одного человека на лицо другого.
Основой проекта стала технология DeepFakes для подмены лиц на видео. Она основана на генеративно-состязательном виде машинного обучения. В ее рамках генеративная модель пытается обмануть дискриминационную и наоборот, вследствии чего система понимает, как контент может быть преобразован в другой стиль.
Алгоритм cycle-GAN передачи свойств другому объекту не идеален и допускает наличие артефактов на изображении. Чтобы повысить качество работы нейросети, исследователи использовали его усовершенствованную версию Recycle-GAN. Он учитывает не только положение разных частей лица, но и скорость их движения
Нейронная сеть успешно перенесла мимику телеведущего Стивена Кольберта на лицо комика Джона Оливера. Более того, она перенесла процесс цветения нарцисса на гибискус.
Исследователи считают, что технология может использоваться в кинематографе. Это ускорит процесс и уменьшит стоимость создания фильмов. Способность нейросетей менять погоду на видео упростит обучение электрокаров езде в разных погодных условиях.