Apple только что выпустила LLM с открытым исходным кодом 7B, весами, обучающим кодом и набором данных!

TL;DR:

Базовая модель 7B, обученная на 2,5 Т токенах в открытых наборах данных

Данные в основном на английском языке и контекстное окно 2048

Объединенные данные DCLM-BASELINE, StarCoder и ProofPile2

MMLU 0.6372 > Mistral & < Llama3

Открытая лицензия с лицензией Apple

Соответствует моделям с закрытыми наборами данных, таким как Mistral

Обучен с использованием Python и OpenLM framework

Доступно на huggingface и в Transformers

Модель: https://huggingface.co/apple/DCLM-7B

Репозиторий: https://github.com/mlfoundations/dclm

Набор данных: https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0

Документация: https://arxiv.org/abs/2406.11794

Источник: huggingface.co

Комментарии: