Как выжать максимум из маленькой LLM?

Как выжать максимум из маленькой LLM? Ответ — долго и грамотно учить .

NVIDIA показала, как 1.5B-модель можно раскачать до топовых результатов в логике, математике, коду и STEM-задачам — без увеличения параметров модели.

Результат после месяцев обучения:

+55% к логическим задачам

+14.7% к математике

+13.9% к коду

+25.1% к сложным STEM-вопросам

Как они это сделали:

– Использовали RL (обучение с подкреплением) на 5 типах задач, включая 40K примеров по математике и 24K по программированию

– Все ответы проверялись автоматически в "песочнице", которая оценивает, правильный ли результат

– Применили улучшенную стратегию обучения — *Group Relative Policy Optimization* — и добавили несколько хитрых трюков:

Decoupled clipping — обычно модель "обрезает" редкие и неожиданные токены, чтобы не уходить слишком в сторону от главного. Но здесь этот механизм ослаблен: модель может чаще выбирать нестандартные слова, что помогает ей находить неожиданные, но правильные решения.

Dynamic sampling — модель *не тратит время* на лишком лёгкие задачи. Она пропускает такие примеры и фокусируется на тех, где действительно можно чему-то научиться.

Маленький KL-штраф (0.0001) — KL показывает, насколько поведение модели отклоняется от старой версии (эталона). Здесь штраф почти нулевой, чтобы не мешать экспериментам, но всё ещё предотвращать полное "сумасшествие" модели.

Сброс каждые 400 шагов — модель регулярно сбрасывает и policy (поведение), и оптимизатор. Это как регулярная перезагрузка — модель забывает вредные привычки, но сохраняет полезные навыки.

Температура 1.2 и длинный контекст (8K ? 16K) — высокая температура делает поведение модели более разнообразным. А длинный контекст помогает учитывать больше информации при генерации ответа.

Все эти приёмы помогли сохранить интерес модели к поиску новых решений, а не скатываться к заученным паттернам.

Итог: модель не "застывает", а продолжает исследовать — и выдает стабильный рост качества без расширения архитектуры.

Почитать статью полностью : arxiv.org/abs/2507.12507

Источник: vk.com

Комментарии: