Yi-Coder: Семейство специализированных моделей для программирования

Yi-Coder - это серия LLM с открытым исходным кодом, которые предназначены для программирования.

Модели Yi-Coder выпущены в двух размерностях: 1,5 млрд и 9 млрд параметров с контекстным окном в 128 тысяч токенов. Доступны базовая и чат-версия:

Yi-Coder-9B;

Yi-Coder-9B-Chat;

Yi-Coder-1.5B;

Yi-Coder-1.5B-Chat .

Модели основаны на LLM Yi-9B и обучались на 2.4 трлн. токенов, полученных из наборов данных Github и CommonCrawl.

Yi-Coder обладают знаниями 52 языков программирования.

В бенчмарке LiveCodeBench Yi-Coder-9B-Chat достиг показателя в 23.4%, что больше, чем у

моделей с большим числом параметров, например: DeepSeek-Coder-33B-Instruct и CodeLLama-34B-Instruct.

Использование моделей Yi-Coder всех версий поддерживается в Transformer s и vLLM .

Подробные руководства по системному промптингу , artifacts-style прототипированию в виде web-страницы , конвертации текстового запроса в SQL-Query , инструкцию по файнтюну и квантованию можно найти в репозитории проекта на Github.

Установка:

git clone https://github.com/01-ai/Yi-Coder.git

cd Yi-Coder

pip install -r requirements.txt

Лицензирование : Apache 2.0 License.

Arxiv

Набор моделей

Сообщество в Discord

Github

Источник: discord.com

Комментарии: