Интересная публикация китайских коллег, которая на деле доказывает, что вендоры ещё толком не приступили к обучению LLM агентами в их же вендорских обвязках.

Интересная публикация китайских коллег, которая на деле доказывает, что вендоры ещё толком не приступили к обучению LLM агентами в их же вендорских обвязках. DeepSeek по факту занялся этим только с версии V4.1, а Anthropic, похоже, до сих пор тренирует модель в оптимизированном агенте для песочниц, а не в Claude Code, т.к. mini-версия агента легко с Claude показала такой же результат эффективности, т.е. сам по себе Claude Code не добавляет значимого выигрыша в тех же фиксах.

Реальное влияние разных обвязок есть в расходе токенов, но поскольку это больше токены на чтение и попадают в основном в кеш, то разница и тут агентов не велика по стоимости.

Правда, именно в такой логике Павел и делал бенчмарк Bug Hunt, т.к. думал, что в самой важной метрике как реальный фикс версия агента не влияет, поэтому и применял со всеми моделями Claude Code обычно.

Когда же он сделал тест свежей версии DeepSeek V4.1 Flash 1017, то ему пришлось пересматривать бенчмарк, т.к. сработало целевое RL-обучение DeepSeek на DeepSeek Harness. Пока такие резкие эффекты наблюдаются только с DSH и лишь на свежих версиях DeepSeek.

Тут хороший вопрос, насколько способность DeepSeek вести Reinforcement Learning прямо на «боевой обвязке» как у разработчиков — серьёзное преимущество и могут ли OpenAI и Anthropic сделать то же самое? На самом деле прямое обучение ИИ на обвязку влияет, это как раз Bug Hunt уже доказал. Вопрос как раз, смогут ли американцы тут догнать китайцев, т.к. сделать агента, пригодного и в пайплайне обучения LLM, далеко не такая простая задача. Тот же Claude Code скорее нужно будет переписывать, и его текущий технический долг не позволяет его легко переложить прямо в песочницы. DeepSeek на деле тоже не совсем прямо кладёт DSH, а его облегчённую версию именно для скорости обучения и чистоты сигналов обучения. Однако в случае Anthropic агент, на котором реально обучается ИИ фиксить баги и делать доработки, — это совсем другое, чем Claude Code. Если DeepSeek продолжит топить тему целевого обучения на обвязку, то может в агентских задачах в ней убежать в отрыв от фронтиров, как уже случилось и в Bug Hunt, и в DeepSWE.

https://arxiv.org/abs/2610.04433

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: