TL;DR:
Базовая модель 7B, обученная на 2,5 Т токенах в открытых наборах данных
Данные в основном на английском языке и контекстное окно 2048
Объединенные данные DCLM-BASELINE, StarCoder и ProofPile2
MMLU 0.6372 > Mistral & < Llama3
Открытая лицензия с лицензией Apple
Соответствует