CL-bench включает 1899 задач, распределенных по 500 контекстам. Создание и аннотирование каждого контекста экспертами занимало около 20 часов. Задачи охватывают четыре категории: рассуждения на основе предметных знаний, применение систем правил, выполнение процедурных задач и эмпирические исследования. Чтобы модель не могла использовать знания из обучающих датасетов, данные либо полностью выдумывали, либо модифицировали, либо включали недавно появившиеся узкоспециализированные сведения.
Результаты тестирования оказались показательными. Среди десяти проверенных моделей средний процент правильных ответов составил всего 17,2%. Лидером оказался GPT-5.1 с точностью 23,7%. При этом модель использовала больше вычислительных ресурсов для рассуждений, хотя вся нужная информация уже содержалась в контексте задач.
Такие низкие показатели объясняются тем, что модели часто игнорируют или неправильно используют контекст и опираются на статические знания, полученные при обучении.
Особенно сложными оказались задачи, требующие индуктивного подхода: вывод правил или исследование смоделированных сред приводило к успеху менее чем в 10% случаев. Увеличение вычислительных ресурсов чуть улучшало ситуацию, однако эффект был непостоянным, а у некоторых моделей производительность даже снижалась.