IQuest-Coder-V1: китайская модель, которая обошла лидеров в кодинге

Quest Research, поддержанная фондом Ubiquant, представила (https://iquestlab.github.io/) 40-миллиардную модель c контекстным окном в 128K токенов, которая, со слов авторов, выбивает 81,4% на SWE-Bench Verified, 49,9% на BigCodeBench и 81,1% на LiveCodeBench v6.

Это превосходит показатели Claude Sonnet 4.5 и GPT-5.1, несмотря на значительно меньшее количество параметров.

Модель использует технику "code-flow" — обучение на эволюции репозиториев и коммитах, и разделена на 2 ветки:

Dense Models : Base (https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Base) и Instruct (https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Instruct) версии для дообучения и следованию инструкциям

Loop Models: оптимизированная версия (https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Loop-Instruct) с максимальной эффективностью по VRAM (int4 может запускаться на 30904090)

Архитектура LoopCoder использует циклическую конструкцию трансформера, где одни и те же параметры модели используются в 2-х последовательных проходах обработки данных.

На первом проходе модель обрабатывает эмбеддинги через свои слои с учетом позиций слов.

На втором проходе модель одновременно использует два типа внимания: глобальное внимание, которое обращается ко всей информации из первого прохода для понимания общего контекста, и локальное внимание, которое смотрит только на предыдущие слова во втором проходе для сохранения последовательности текста.

Оба типа внимания комбинируются с помощью механизма, который решает, сколько веса дать глобальному контексту, а сколько локальной последовательности.

В техотчете заявлены еще 7B и 14B версии, но сроки их публикации неизвестны.

Лицензирование: Modified MIT License (https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Instruct/blob/main/LICENSE)

Страница проекта (https://iquestlab.github.io/)

Техотчет (https://github.com/IQuestLab/IQuest-Coder-V1/blob/main/papers/IQuest_Coder_Technical_Report.pdf)

Набор моделей (https://huggingface.co/collections/IQuestLab/iquest-coder)

GitHub (https://github.com/IQuestLab/IQuest-Coder-V1)

Источник: github.com

Комментарии: