Lumina-mGPT 2.0 (от Alpha-VLLM): семейство мультимодальных авторегрессионных моделей, разработанных для визуальных и текстовых задач

Это передовая модель для генерации изображений, построенная по принципу авторегрессионных моделей только с декодером (decoder-only), архитектурно схожая с тем, как работают большие языковые модели вроде GPT (и конкретно сравниваемая с подходом к изображениям в GPT-4o).

Это означает, что она генерирует изображение последовательно (как текст), потенциально используя мощные возможности представления и понимания мира, присущие современным LLM.

Функции:

-Text-to-Image (t2i): Генерация изображений по текстовому описанию.

- Редактирование изображений: Модификация существующих изображений на основе инструкций.

- Контролируемая генерация: Управление генерацией с помощью дополнительных входных данных (аналогично ControlNet).

Разработчики заявляют, что модель включает все функции ControlNet. своей архитектуре.

Модель спроектирована как самостоятельное решение, а не как дополнение к другим системам и по сути это альтернатива доминирующим диффузионным моделям.

https://github.com/Alpha-VLLM/Lumina-mGPT-2.0

https://huggingface.co/Alpha-VLLM/Lumina-mGPT-2.0

Источник: huggingface.co

Комментарии: