Claude Fable 5.1 самая кошерная ИИ

Исследователи из HalachaBench проверили 22 ИИ-модели на знание еврейского религиозного права, предложив им реальные экзаменационные вопросы на смиху (раввинскую ординацию) Главного раввината Израиля. Тест включал 60 вопросов по пяти разделам, без доступа к интернету и справочникам, проходной балл — 60 из 100

Локальные модели провалились: ни одна не набрала даже 11 баллов. Облачные справились: Gemini 3.8 Flash, Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Astra, Gemini 4 Argon и Claude Fable 5.1 превысили 60 баллов. Лидером стала Claude Fable 5.1 с результатом 79,7 из 100. Даже хорошо подготовленным людям такие экзамены даются нелегко, а ИИ справился без проблем

Бенчмарки, которые мы заслужили

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: