Способности ИИ-«врачей» переоценены

Генеративный интеллект нескоро заменит настоящих врачей. Как минимум до тех пор, пока его не начнут тренировать на реальных клинических случаях реальные специалисты. А все эти чемпионаты по сдаче ЕГЭ квалификационных экзаменов и прочих тестов - ровным счётом ни о чём. Об этом не только говорят вменяемые спецы, но и пишут. И не абы где, а в Натуре (https://www.nature.com/articles/s41746-025-01963-x), точнее, в одном из журналов семейства «Природа».

В чём проблема? В том, что большие языковые модели (LLM) обучают на читерских материалах. Учебные вопросы, придуманные примеры, далёкие от реальной клинической практики, которая сложнее, чем выбор из 3-5 предложенных вариантов ответов. В итоге когда ИИ-отличников выпускают в поле, они там пасуют перед первой же прокаченной бабкой из поликлиники с коморбидностью и полипрагмазией (причём 3/4 назначений она сама себе сделала по совету друзей и доктора Мясникова из телевизора), помноженными на возрастное когнитивное снижение и десяток раз потерянную медкарту. И такое наблюдается примерно в 95% случаев всех медицинских тестов для ИИ. Лишь 5% моделей обучены на реальных клинических данных.

Почему ИИ отлично проходил тесты? Потому что из материалов, на которых его учили, повыкидывали всякие противоречия и несостыковки, после чего модель отлично угадывала ответы, подстраиваясь под особенности набора, а не демонстрировала нечто вроде клинического мышления.

Достаточно вспомнить прошлогоднюю статью (https://www.nature.com/articles/s41591-024-03097-1) в той же Натуре, где обученный медицинский ИИ и двуногих кожаных мешков попросили поставить диагноз 2,4 тыс пациентам с четырьмя рутинными заболеваниями брюшной полости. Люди справились в 84-86% случаев. Хотелось бы 100, конечно, но ок, сойдёт. А что там у ИИ? А там разброс 13-68%. Далековато до полной замены людей хотя бы на этом этапе диагностики.

Авторы нынешней статьи подчёркивают, что LLM вряд ли будут использоваться как самостоятельные инструменты в обозримом будущем. Люди-врачи пока что надёжнее. И чтобы LLM стали хотя бы приемлемым ассистентом, нужно менять подходы к обучению и взаимодействию клинициста с ИИ. Особенно это касается качества материала, на котором модели обучают.

И это я ещё не вспоминаю про судьбу, например, IBM Watson for Drug Discovery. Поинтересуйтесь, очень показательная история. В фарме тоже был период восторженного идиотизма, пардон, оптимизма, мол, всё, теперь ИИ изобретут лекарства от всего, а нам только денежки собирать останется да за Нобелевками ездить. Облегчить и ускорить самый начальный этап разработки - примерно так выглядят перспективы ИИ на обозримое будущее. Не более того.

Так что рано вешать белый халат на серверную стойку, рано...

Источник: www.nature.com

Комментарии: