Нейросети не прошли человеческий тест на мышление

Если мы хотим переложить на нейросети ответственную работу, например, медицинскую диагностику, мы должны быть уверены, что когнитивные способности ИИ как минимум не уступают человеческим. И пока с этим есть трудности. Команда исследователей из Израиля и Англии продемонстрировала — большие языковые модели могут не просто размышлять слабее человека, но и проявлять признаки старческой деменции.

Несколько ИИ-моделей (GPT-4 и 4o, Claude 3.5 Sonnet, Gemini 1 и 1.5) решали задачи Монреальской шкалы когнитивной оценки, с помощью которых врачи выявляют ранние признаки деменции у людей.

Тест оценивает в том числе краткосрочную память, внимание, языковые навыки и ориентацию в пространстве. Максимум можно набрать 30 баллов. Оценка ниже 26 баллов сигнализирует о вероятных когнитивных нарушениях.

Лучше всех справилась GPT-4o, набрав 26 баллов. GPT-4 и Claude набрали по 25 баллов. Хуже всех выступила Gemini 1.0 — 16 баллов. При этом только GPT-4o справилась со сложным тестом на гибкость мышления. Тем не менее, все протестированные модели показали низкий результат в заданиях на пространственное восприятие и исполнительные функции.

«Возраст» моделей оказался важным фактором — чем «старше» ИИ-модель, тем хуже результаты. Это подтверждает сомнения ученых: доверять высокорискованную и ответственную работу ИИ, по крайней мере не самому современному, может быть сомнительной идеей.

Принцип «доверяй, но проверяй» в отношении нейросетей остается актуальным. А «гонка версий», которой увлеклись стартапы, по всей видимости, все-таки приносит пользу. 

Источник: vk.com

Комментарии: