Mistral AI представила новые модели 3B и 8B

Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B.

Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров.

Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса.

Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету.

Обе модели в ближайшее время будут доступны в сервисеLa Plateforme (https://console.mistral.ai/) и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B.

Ministral 3B доступна для некоммерческого использования по запросу через форму (https://mistral.ai/contact/).

Ministral 8B-Instruct (https://huggingface.co/mistralai/Ministral-8B-Instruct-2410) опубликована в отрытом доступе:

Architecture: Transformer

Parameters: 8B

Layers: 36

Heads: 32

Dim: 4096

Hidden Dim: 12288

Vocab Size: 131K

Context Length: 128K

Tokenizer: V3-Tekken

Language: multilingual

Локальный запуск рекомендуется выполнять в среде vLLM (https://github.com/vllm-project/vllm), воспользоваться docker (https://github.com/vllm-project/vllm/blob/main/Dockerfile) или библиотекойMistral Inference (https://github.com/mistralai/mistral-inference).

vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована.

Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM

Лицензирование : MRL-0.1 (https://mistral.ai/licenses/MRL-0.1.md)

Страница проекта (https://mistral.ai/news/ministraux/)

Модель (https://huggingface.co/mistralai/Ministral-8B-Instruct-2410)

Demo Ministral 8B-Instruct (https://huggingface.co/spaces/vilarin/Mistral-lab)

Источник: huggingface.co

Комментарии: