Стареющие ИИ чат-боты проявляют признаки деменции

ИИ чат-боты неожиданно начали терять ясность мышления. Недавние исследования показали, что чат-боты постепенно «стареют» и теряют способность к анализу, запоминанию и даже элементарной логике. Некоторые версии уже проявляют признаки когнитивного распада, сравнимого с деменцией. Это обнаружила команда неврологов и специалистов по обработке данных из Тель-Авивского университета. Они выяснили, что генеративные ИИ-чатботы, такие как ChatGPT и Gemini от Google, со временем могут демонстрировать признаки когнитивных нарушений, напоминающие то, как мозг человека деградирует с возрастом.

Эта деградация более распространена в ранних версиях ИИ-чатботов. Полученные результаты настолько поразительны, что, по словам исследователей, если бы они увидели подобное снижение умственных способностей у человека, то были бы глубоко обеспокоены его здоровьем и безопасностью.

Неврологи Рой Даян и Бенджамин Улиэль протестировали различные чат-боты, такие как ChatGPT, Claude и Gemini, при помощи серии когнитивных тестов, обычно используемых для оценки работы человеческого мозга. Один из таких тестов был Монреальский когнитивный тест (Montr?al Cognitive Assessment Test, сокращенно MoCA). Он предназначен для проверки работы различных функций мозга человека, таких как исполнительная функция, концентрация внимания, кратковременная память и другие. Он используется для проверки широкого спектра когнитивных расстройств – от болезни Паркинсона до болезни Альцгеймера и деменции.

Исследователи обнаружили степень «снижения когнитивных способностей, которая кажется сопоставимой с нейродегенеративными процессами в человеческом мозге». Среди протестированных чатботов ChatGPT 4o показал наилучший результат: 26 из 30 баллов. Но даже 26 баллов означает лёгкое когнитивное расстройство. Таким образом, даже самый лучший чатбот всё равно имел признаки мозгового расстройства. Самая первая версия Gemini от Google, Gemini 1, набрала 16 баллов, что свидетельствует о серьезных когнитивных нарушениях. Если бы Gemini 1 был человеком то как сказали исследователи "он бы, скорее всего, тупо уставился в стену, не помня, кто он такой и как здесь оказался."

Исследователи также обнаружили, что многие из проявляемых симптомов очень схожи с когнитивными проблемами, которые наблюдаются у пациентов с деменцией. Чат-боты плохо справлялись с заданиями на визуально-пространственное восприятие и исполнительные функции, также им требовались чёткие указания, как решить некоторые из предложенных им мозговых головоломок. В противном случае он был совершенно неспособен найти решение.

Другим тестом, проведенным с чатботами, был Бостонский диагностический экзамен на афазию. Он показал, что чатботам не хватает эмпатии, которая часто является ранним признаком фронтотемпорального слабоумия. ФТД – это общий термин для нескольких типов слабоумия, которые постепенно разрушают мозг. Иными словами, чатботы, несмотря на свою сложность, «стареют» гораздо быстрее, чем можно было ожидать, что ставит под вопрос их долгосрочную эффективность и точность.

Авторы исследования делают вывод, что вполне вероятно, что в будущем появится чатбот, который будет показывать безупречные результаты в тестах на когнитивные способности. Но пока существует огромный риск когнитивной деградации, что означает, что результатам запроса, введённого даже в самый продвинутый чатбот, не стоит полностью доверять

Источник: vk.com

Комментарии: