Нейросеть анимирует изображения

Исследователи из University of Washington и Facebook опубликовали нейросетевую модель, которая анимирует изображения. Модель принимает на вход изображение в 2D. На выходе модель отдает короткое видео, где объекты на изображении двигаются. Нейросеть способна анимировать изображения пляжей, водопадов и рек.

Подробнее про модель

Исследователи фокусировались на сценах с непрерывным движением, как текущая вода или дым. Метод основывается на наблюдении, что такой тип естественного действия может быть воспроизведен с помощью Эйлерово описания движения.  Исследователи используют image-to-image сеть для кодирования движений природных сцен, собранных из онлайн видеозаписей. Затем для входного изображения синтезируется поле движения, которое совмещается с входным изображением с помощью метода deep warping.