FramePack позволяет генерировать ИИ-видео на обычных игровых ПК

Архитектура FramePack, разработанная при участии Стэнфордского университета, впервые позволяет локально генерировать видео с использованием диффузионных моделей на потребительских GPU с 6 ГБ видеопамяти. Система способна создавать видео продолжительностью до одной минуты без необходимости обращения к облачным сервисам.

FramePack осуществляет сжатие входных кадров в зависимости от их значимости, что обеспечивает стабильную производительность без резких колебаний в потреблении памяти. Вместо традиционной последовательной обработки множества кадров модель работает с фиксированным объемом входных данных, что снижает нагрузку на VRAM в 2–3 раза. По утверждению разработчиков, модель с 13 миллиардами параметров — числовых связей, описывающих работу нейросети, — может сгенерировать 60-секундный видеоролик на видеокартах с 6 ГБ видеопамяти.

Для работы требуется GPU серии RTX 30/40/50 с поддержкой форматов FP16 и BF16. Исключением является видеокарта RTX 3050 с 4 ГБ памяти, которой недостаточно для полноценной генерации. Подтверждена работа в Linux; поддержка архитектуры Turing, а также видеокарт AMD и Intel пока не заявлена. На RTX 4090 производительность достигает 0,6 кадра в секунду при использовании программного ускорителя Teacache.

FramePack — бесплатный открытый проект с лицензией Apache 2.0.

Источник: vk.com

Комментарии: