Google открыла Harness: ИИ-агент сам улучшает свою рабочую среду

Результат агента зависит не только от модели, но и от её окружения: системного промпта, инструментов, памяти, навыков и субагентов. Всё это называют harness.

Harness позволяет менять эту конфигурацию под новую задачу без переобучения модели.

Агент предлагает правки, пробует несколько вариантов на одной задаче, сравнивает поведение запусков и собирает улучшенную конфигурацию. Для этого ему не нужен заранее известный правильный ответ или внешний проверяющий.

После задачи система сохраняет выбранную конфигурацию и выводы, подтверждённые запусками. Следующий цикл улучшений начинается уже с этим опытом.

В тестах с Gemini 3.5 Flash и GLM-5 один шаг улучшения дал прирост до 11,5 балла на WorkBuddy-Bench, 4,5 балла на JobBench и 11,8 процентного пункта по partial pass rate на LAB. Дополнительные итерации повышали результаты.

Конфигурации можно проверять параллельно или дорабатывать последовательно. Поддерживаются OpenCode и Codex.

https://github.com/google-research/harness2

Телеграм: t.me/ainewsline

Источник: github.com

Комментарии: