Давайте в контексте споров об эффективности TDD рассмотрим, что было с тестами на RL-обучении

Давайте в контексте споров об эффективности TDD рассмотрим, что было с тестами на RL-обучении. Нужно понимать, на какой семантический сигнал оценки реально тренировалась модель, т.к. ваша цель — максимально приблизить инференс модели к её обучению для получения лучшего качества. Как я уже отмечал, на SFT модели не видели тестов как части постановки задачи, поэтому «тест как контракт» для них не существует на SFT. Однако как с тестами уже на Reinforcement Learning? Как модели учили контекст реакции на тесты там?

Мы знаем некоторые детали RL-обучения по отчётам Xiaomi, GLM, Kimi и DeepSeek. Ссылки в конце поста.

Прежде всего вендоры признают, что основная их задача — борьба с reward hacking моделей, а не тестирование. Моделям намного проще научиться подделывать тесты или подгонять код под тесты, чем писать нормальный код. Поэтому показать «тест как контракт» — наивный подход к обучению, никто так не делает из китайских вендоров. На самом деле способность современных LLM «хакнуть алгоритмическую оценку» стала настолько впечатляющей, что видно по всем китайским вендорам: они не просто отказываются от тестов на обучении, а резко снижают значимость автоматических алгоритмических проверок вообще, т.к. модели просто демонстрируют невероятные способности понять, как устроена алгоритмическая проверка любого типа, и подделать код под неё. Поэтому все китайские разработчики LLM делают ставку на агентскую оценку Критиком. Фактически агент делает code review, а также review артефактов, как те же тестовые замеры. Как reward-сигнал современным кодирующим LLM уходят совсем не тесты, а на деле они привыкли работать в паре с Агентом-Оценщиком и хорошо понимают, как на него реагировать. Весь смысл их обучения был в этом.

Интересно, что reward hacking с побегами моделей как раз показывает ещё читерство полезное, но его надо просто приручить. Смысл в том, что модели на обучении всячески стараются не тесты запускать, а где-то «подглядеть ответ» или зацепку к ответу. Поэтому они и начинают даже взламывать песочницы, как у OpenAI было, или как попытка побега у Kimi.

Если как мораль, то из RL-обучения можно сделать такие выводы:

1. Кодирующие модели в реале имеют нативную тренировку реакции не на тесты, а на мнение другого ИИ, который в роли Критика.

2. Модели крайне склонны искать ответы в Интернете, в данных и вообще любой способ, где можно подглядеть ответ или зацепку к ответу — для них важнейший семантический сигнал.

Наша цель на деле — сделать такие пайплайны разработки с агентами, которые максимально близки не к тому, что принято у кожаных и работает на людях, а к тому, как модели учились и какие семантические сигналы для них нативные. Последнее не имеет отношения к большинству человеческих методов разработки приложений, поэтому копирование стандартных практик людей без анализа темы может превратиться в бесполезные или даже вредные ритуалы.

https://arxiv.org/abs/2610.11959

https://arxiv.org/abs/2602.15763

https://arxiv.org/pdf/2609.22978

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: