Llama 3.2 : релиз VLM, SLM моделей и дистрибутива Llama Stack

Только что были опубликованы набор моделей семейства Lllama 3.2.

Семейство Llama 3.2 разработано для решения мультимодальных задач: понимание документов с графиками и диаграммами, создание аннотаций к изображениям, локализация объектов на изображениях по текстовому описанию.

Список моделей релиза:

Llama-3.2-90B-Vision (https://huggingface.co/meta-llama/Llama-3.2-90B-Vision) и версия Instruct; (https://huggingface.co/meta-llama/Llama-3.2-90B-Vision-Instruct)

Llama-3.2-11B-Vision (https://huggingface.co/meta-llama/Llama-3.2-11B-Vision) и версии Instruct (https://huggingface.co/meta-llama/Llama-3.2-11B-Vision-Instruct) и Guard-3; (https://huggingface.co/meta-llama/Llama-Guard-3-11B-Vision)

Llama-3.2-3B (https://huggingface.co/meta-llama/Llama-3.2-3B) и версия Instruct; (https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct)

Llama-3.2-1B (https://huggingface.co/meta-llama/Llama-3.2-1B) и версии - Instruct, (https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct) INT4 (https://huggingface.co/meta-llama/Llama-Guard-3-1B-INT4) и Guard-3. (https://huggingface.co/meta-llama/Llama-Guard-3-1B)

Малые модели (1B и 3B) созданы методом обрезки и дистилляции знаний на основе модели Llama-3.1-8B. Они оптимизированы для работы на мобильных устройствах и предназначены для обобщения текста, обработка инструкций и генерации текста.

Модели были дополнительно настроены для обработки контекста длиной до 128 тыс. токенов. Эти модели протестированы на оборудовании Qualcomm и MediaTek и оптимизированы для процессоров Arm.

Архитектура больших моделей (11B и 90B) основана на предобученных текстовых моделях Llama 3.1, дополненных адаптерами и энкодерами для обработки изображений.

Результаты тестирования показали, что vision-модели Llama 3.2 сопоставимы с Claude 3 Haiku и GPT4o-mini, в задачах распознавания изображений и визуального понимания.

Модель 3B превосходит модели Gemma 2 2.6B и Phi 3.5-mini в обработке инструкций, обобщения, генерации текста и использования инструментов.

Llama Stack (https://github.com/meta-llama/llama-stack) - дистрибутив, который значительно упростит усилия разработчиков с моделями Llama в различных средах: одноузловые, локальные, облачные и на носимых устройствах, позволяя развертывать "под ключ" RAG и приложения с поддержкой инструментов с интегрированной системой безопасности.

Развертывание на устройствах осуществляется с помощью PyTorch ExecuTorch, а распространение на одном узле - с помощью Ollama. В родительском репозитории дополнительно опубликованы клиентские SDK на NodeJS, (https://github.com/meta-llama/llama-stack-client-node) Python, (https://github.com/meta-llama/llama-stack-client-python) Swift, (https://github.com/meta-llama/llama-stack-client-swift) Kotlin. (https://github.com/meta-llama/llama-stack-client-kotlin)

Все модели Llama 3.2 доступными для скачивания на llama.com (http://llama.com/) и Hugging Face, а также на партнерских платформах : AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake и др.

Лицензирование :

Код Llama Stack: MIT License.

Модели : Lama3.2

Страница проекта (https://www.llama.com/)

Коллекция моделей на HF (https://huggingface.co/collections/meta-llama/llama-32-66f448ffc8c32f949b04c8cf)

Demo Llama-1B (https://huggingface.co/spaces/Vishal3152/meta-llama-Llama-3.2-1B)

Demo Llama-3B (https://huggingface.co/spaces/allknowingroger/meta-llama-Llama-3.2-3B)

GitHub Llama-Stack (https://github.com/meta-llama/llama-stack)

Источник: github.com

Комментарии: