Microsoft подняла точность ChatGPT с 41% до 80%, не меняя ни одного параметра модели

Система называется SkillOpt.

Обычно все думают, что AI-агенты становятся лучше через промпты или fine-tuning.

Но fine-tuning дорогой, медленный и жёсткий.

А “prompt engineering” часто превращается в угадайку.

Подход Microsoft другой: они оптимизируют не модель, а skill-документ.

То есть текстовую инструкцию, которая объясняет агенту, как решать задачу.

SkillOpt делает этот документ живым: он учится на ошибках агента.

Как это работает:

1. Агент выполняет задачи и собирает успешные и провальные попытки.

2. Отдельная маленькая модель анализирует результаты и точечно меняет skill-документ: добавить, удалить или заменить фрагмент.

3. Новая версия принимается только если реально улучшает результат на отдельном наборе задач.

По сути, это что-то вроде градиентного спуска для естественного языка.

Результаты сильные:

на шести крупных бенчмарках SkillOpt обошёл и человеческие skills, и одноразовые LLM-подходы.

На ALFWorld одна модель выросла с 70% до 85% точности.

В чат-сценариях прирост был больше 23 пунктов.

Главный плюс: нет лишней нагрузки во время инференса.

Ты один раз тратишь compute на оптимизацию skill-документа, а потом агент работает с уже улучшенной инструкцией.

Идея мощная: агент становится лучше не потому, что ты переписываешь код или дообучаешь модель.

А потому что его “плейбук” сам улучшается через обратную связь.

arxiv.org/pdf/2605.23904

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: