Нейросети провалили тест Струпа

Американские исследователи проверили  GPT-4o, GPT-5, Claude 3.5 Sonnet, Claude Opus 4.1 и Gemini 2.5 Pro на исполнительный контроль внимания с помощью теста Струпа. В этом испытании нужно назвать цвет шрифта, которым написано слово, игнорируя его значение. Например, слово «синий» написано красными буквами. Человек справляется с этим без проблем, удерживая точность выше 95% при использовании в тесте 1500 слов. Ученые хотели выяснить, способна ли архитектура нейросетей подавлять автоматические реакции ради выполнения конкретной задачи.

Результаты эксперимента выявили дефицит внимания у нейросетей. На коротких списках из 5 слов модели отвечали на уровне людей, но с ростом объема задачи их точность падала. На списке из 40 слов результативность GPT-4o упала до 15%, а Claude 3.5 Sonnet — до 24%. Более новые тесты GPT-5, Claude Opus 4.1 и Gemini 2.5 Pro подтвердили общую проблему. Нейросети просто теряют контроль и начинают спонтанно считывать буквы вместо анализа цвета, что доказывает отсутствие у них гибкого когнитивного контроля.

Телеграм: t.me/ainewsline

Источник: academic.oup.com

Комментарии: