ИИ провалил олимпиадные работы по математике

Исследователи из ETH Zurich и INSAIT выяснили, что ИИ плохо справляется с олимпиадными задачами по математике. В тестах на USAMO 2025 модели в среднем набрали менее 5% от максимума. Учёные протестировали несколько ИИ-моделей на шести задачах с олимпиады. Ни одно из почти 200 решений не получило максимум. Лучший результат у Gemini 2.5 Pro (10,1 из 42 баллов), остальные — от 0,9 до 2,0.

Главная проблема — неспособность строить полные доказательства. ИИ допускает логические ошибки, хоть и формулирует ответы уверенно, это говорит об отсутствии механизмов самопроверки. Например, в одной задаче требовалось найти все натуральные k, при которых сумма биномиальных коэффициентов остаётся целой. Qwen QwQ ошиблась, исключив допустимые нецелые значения, и пришла к неверному выводу.

Модели всё ещё злоупотребляют шаблонами и остаются системой распознавания паттернов, а не глубокого мышления. Прогресс возможен, но нужны новые подходы к обучению.

Источник: vk.com

Комментарии: