Выпущена новая открытая модель Omni!

MiniCPM-o 2.6 - это новая мультимодальная модель с 8B параметрами, работающая на edge девайсах,

8B параметров (SigLip-400M + Whisper-300M + ChatTTS-200M + Qwen2.5-7B)

Превосходит GPT-4V в vision задачах с 70. 2 баллами на OpenCompass

Лучшие в своем классе возможности двуязычной речи с разговором в реальном времени и клонированием голоса

Поддержка мультимодальной потоковой передачи с поддержкой непрерывной обработки видео/аудио

Работает на iPad и телефонах и поддерживает 30+ языков

Обрабатывает изображения размером до 1. 8M пикселей (1344x1344) с возможностью OCR

Легкая интеграция с популярными фреймворками (llama.cpp, vLLM, Gradio)

Доступна на huggingface

HF: https://huggingface.co/openbmb/MiniCPM-o-2_6

Источник: huggingface.co

Комментарии: