Kimi-VL: VLM с MoE, ризонингом и контекстом 128K

Moonshot AI опубликовала веса Kimi-VL — открытой VLM, которая объединяет обработку текста, изображений и видео. Благодаря архитектуре MoE модель активирует всего 2.8 млрд. параметров в языковом декодере, обеспечивая скорость, сопоставимую с компактными аналогами, и результативность флагманских решений.

Главное преимущество Kimi-VL — способность анализировать длинные контексты до 128 тыс. токенов, что делает её идеальной для работы с объемными документами, длинными видео или сложными мультимедийными задачами.

Основу модели составляет визуальный энкодер MoonViT, оптимизированный для нативной обработки изображений любого разрешения без необходимости разбивать их на части. Это позволяет точно распознавать текст, графики или UI-интерфейсы даже в высокодетализированных скриншотах.

Например, на бенчмарке InfoVQA модель показывает точность 83.2%, обходя даже GPT-4o. В задачах OCR Kimi-VL достигает 86.7% на OCRBench, что ставит её в ряд лучших в индустрии.

Разработчики также представили Kimi-VL-Thinking — версию с расширенными возможностями CoT. Благодаря использованным RL и длительному CoT-тюнингу она демонстрирует впечатляющие результаты в математических и академических задачах: на MathVista точность составила 71.3%, а на MMMU — до 61.7%, что лучше, чем у Gemma-3-12B-IT.

В тестах Kimi-VL превосходит конкурентов в работе с агентами: на OSWorld её результат 8.22% выше, чем у GPT-4o (5.03%), а на WindowsAgentArena — 10.4%. Для длинных видео модель набирает 64.5% на LongVideoBench, подтверждая способность анализировать часовые записи без потери ключевых деталей.

Модели доступны на Hugging Face в двух вариантах:

Kimi-VL-A3B-Instruct (https://huggingface.co/moonshotai/Kimi-VL-A3B-Instruct) для стандартных задач;

Kimi-VL-Thinking (https://huggingface.co/moonshotai/Kimi-VL-A3B-Thinking) для сложных рассуждений.

Инференс через Transformers занимает несколько строк кода (https://github.com/MoonshotAI/Kimi-VL/?tab=readme-ov-file#setup) — достаточно загрузить изображение, задать запрос и получить подробный ответ.

Лицензирование: MIT License.

Набор моделей (https://huggingface.co/collections/moonshotai/kimi-vl-a3b-67f67b6ac91d3b03d382dd85)

Техотчет (https://github.com/MoonshotAI/Kimi-VL/blob/main/Kimi-VL.pdf)

GitHub (https://github.com/MoonshotAI/Kimi-VL/)

Источник: github.com

Комментарии: