Медицинские нейросети играют в «угадайку»

Исследование, опубликованное в JAMA Network Open, показало ограниченность нейросетей в медицинских вопросах — оказалось, что LLM не столько рассуждают, сколько угадывают по знакомым шаблонам.

Учёные изменили сотню вопросов из медицинского экзамена MedQA (правильный вариант заменили на «Ни один из указанных»). Такой трюк позволил проверить, заметят ли модели подвох, или же будут подбирать привычные ответы.

Результаты оказались красноречивыми:

Точность GPT-4o — -36.8.

Gemini 2.0 — -33.8.

Claude 3.5 — -26.5.

LLaMA 3.3 — -38.2.

DeepSeek-R1 — -8.8.

o3-mini — -16.2.

Вместо логического анализа модели чаще пытались «подогнать» ответ под паттерн, чем по-настоящему разобрать задачу. Авторы работы делают вывод, что применять LLM в клинической практике пока рискованно.

Источник: vk.com

Комментарии: