Athene-Llama3-70B: улучшенная чат-модель Llama-3-70B-Instruct от Nexusflow.

Athene-Llama3-70B - это чат-ориентированная модель, дообученная с помощью RLHF на основе Llama-3-70B-Instruct.

Значительное повышение производительности - это результат строгих оценочных показателей в процессе обучения, качественный собственный датасет и уникальный посттренинговый конвейер Nexusflow.

Улучшения по сравнению с исходной Llama-3-70B-Instruct:

Более точное следование инструкциям, модель лучше реагирует на сложные промпты, выдавая четкие и лаконичные ответы;

Повышена способность в математике и рассуждениях, способность решать вопросы, требующие большого количества аргументов;

Улучшен навык помощи написания кода в виде расширенных предложений по коду для более легкого создания и внедрения;

Доработана креативность в написании текстов, писем, эссэ;

Улучшена поддержка мультиязычности и повышено качество семантического перевода с одного языка на другой.

Athene-70B показала результат 77,8% в Arena-Hard-Auto, что ставит ее в один ряд с GPT-4o (79,2%) laude-3.5-Sonnet (79,3%).

Для сравнения, базовая Llama-3-70B-Instruct в Arena-Hard-Auto демонстрировала результат в 46,6%.

Внимание, размер модели составляет ~ 140 Gb

Athene-70B использует тот же шаблон системного промпта, что и Llama-3-70B-Instruct.

Лицензирование: CC-BY-NC-4.0

Страница проекта https://nexusflow.ai/blogs/athene

Модель на HF https://huggingface.co/Nexusflow/Athene-70B

Github Nexusflow [ Stars: 349 | Issues: 9 | Forks: 30 ] https://github.com/nexusflowai/NexusRaven-V2

Источник: nexusflow.ai

Комментарии: