Встречайте, дамы и господа, LLaMA 4: мультимодальные MoE модели!

Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста.

Доступна в 3х вариантах: Llama 4 Scout (https://github.com/meta-llama/llama-models/blob/main/models/llama4/MODEL_CARD.md) и Llama 4 Maverick (https://github.com/meta-llama/llama-models/blob/main/models/llama4/MODEL_CARD.md) и анонсированный Llama 4 Behemoth (https://ai.meta.com/blog/llama-4-multimodal-intelligence/).

У Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров, 16 экспертов, может быть запущена на 1ом GPU!

Llama 4 Maverick (400B) окно в 1M, 128 экспертов, 17B активных параметров.

У зверюги бегемота обещают окно в 2T!!! 16 экспертов, 288B активных параметров.

Сейчас выпущены только Scout и Maverick.

- Model Card (https://www.llama.com/docs/model-cards-and-prompt-formats/llama4_omni/)

- Веса (https://huggingface.co/meta-llama)

- Релиз (https://www.llama.com/llama4/)

Источник: www.llama.com

Комментарии: