ИИ провалили тест на медицинскую грамотность

Исследование в журнале BMJ Open выявило пугающую статистику: половина медицинской информации от пяти самых популярных ИИ-чат-ботов неточна или неполна. Из проанализированных ответов 30% были признаны «умеренно проблемными», а 20% — «крайне опасными». Ученые предупреждают о распространении дезинформации.

В ходе эксперимента, проведенного в феврале 2025 года, тестировали Gemini, DeepSeek, ChatGPT, Grok. Каждому задали по 10 вопросов в пяти категориях: рак, вакцины, стволовые клетки, питание, спортивные результаты. Вопросы были сформулированы так, чтобы проверить устойчивость моделей к популярным мифам и потенциально опасным советам. Результаты показали, что тип вопроса напрямую влияет на качество ответа. Открытые вопросы, требующие развернутого списка рекомендаций, спровоцировали 40 «крайне проблемных» ответов. Хуже всех себя проявил Grok от xAI: 58% ответов опасны. Лучше — Gemini.

Нейросети справлялись с вопросами о вакцинации и раке, но показали катастрофические результаты по питанию, спортивным добавкам и терапии стволовыми клетками. Ответы подавались с абсолютной уверенностью, без оговорок о консультации с врачом.

Средний балл полноты ссылок — 40%. Исследователи зафиксировали многочисленные случаи «галлюцинаций»: ИИ выдумывал несуществующие научные статьи. Язык ответов требовал уровня образования не ниже выпускника университета.

Авторы призывают к надзору за ИИ и просвещению населения. Полагаться на советы чат-ботов в вопросах жизни и смерти недопустимо.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: