Исследование показало: если просто повторить один и тот же запрос дважды, точность LLM заметно растёт

В тесте на поиск элемента в длинном списке результат одной модели вырос с 21% до 97%.

Никакого файнтюнинга, дополнительных вычислений или хитрого промпт-инжиниринга не требуется, только дублирование первоначального промпта.

Модели обрабатывают текст слева направо и ограничены причинным вниманием.

Дублирование входа даёт токенам второй шанс «увидеть» полный контекст и улучшает связи внимания.

Эффект подтверждён на 7 бенчмарках и 7 моделях (GPT-4o, Claude, Gemini, DeepSeek), особенно в задачах поиска, извлечения и работы с длинным контекстом. При этом время ответа и длина генерации почти не меняются.

Рост качества вывода моделей всё чаще достигается не увеличением моделей, а управлением подачей контекста. Побеждают архитектуры и практики, которые компенсируют ограничения внимания на уровне системы.

Статья https://arxiv.org/pdf/2512.14982

Источник: arxiv.org

Комментарии: