Оно учится: В NVIDIA представили нейросеть, способную генерировать видео по текстовому описанию

Сегодня нейросети уже умеют довольно прилично составлять тексты и рисунки, да не идеально, но подчас лучше многих новичков. Но процесс этот пока что довольно ресурсоемкий, что выступает значимым ограничением для следующего шага - генерации видео. Потому что рендер видео из готовых частей может занять времени сильно больше, чем длится само видео. А для нейросети ведь надо ещё отрисовать эти сотни кадров в едином стиле и с верной анимацией.

И я вообще не удивлен, что к данной задаче с учетом вводных, решила подступиться Nvidia. Их новая ИИ-модель VideoLDM превращает текст в видео. Нейросеть была разработана совместно с Корнельским университетом на базе другой нейросети - Stable Diffusion.

У VideoLDM заявлено 4,1 млрд параметров, по которым она создает видео. Она способна генерировать из любого текста видео в разрешении до 2048 ? 1280 пикселей с частотой 24 FPS и длительностью 4,7 секунд. Кроме того нейросеть умеет генерировать сцены вождения разрешением 1024 ? 512 точек и длительностью до 5 минут. "Если нужно моделирование конкретного сценария вождения, за основу берутся ограничивающие рамки для создания нужной обстановки. Далее синтезируется начальный кадр, а затем создаются правдоподобные видеоролики."

На видео можете ознакомиться с результатами работы нейросети. Неказисто, но очень недурно - уж явно не хуже поделки 3D дизайнера с месячных курсов. Такая технология может уже сейчас найти применение в кино и видеоиграх при отрисовке динамических задников или "быстрой" генерации раскадровок сцен. Правда остаётся вопрос в скорости работы нейросети. Но прогресс впечатляет. Слава роботам!

Источник: vk.com

Комментарии: