ИИ-врачи? Еще учиться и учиться! Медицинский ИИ терпит крах при столкновении с реальностью

Исследование, опубликованное в Nature, заставляет пересмотреть стратегии внедрения искусственного интеллекта в здравоохранение. Ученые считают: главная проблема современного медицинского ИИ в провале на стыке технологий, теоретических знаний и реальной клинической жизни.

Исследователи из Гарвардской медицинской школы и ряда исследовательских центров США и Израиля выяснили, что алгоритмы «сбоят» из-за неспособности адаптироваться к смене условий. Модели обучаются на «стерильных» датасетах и показывают высокие результаты в тестах. Но при переносе в другую клинику, регион или работу с иным профилем пациентов они не учитывают реальную инфраструктуру и логику лечения, допуская клинически правдоподобные, но фатальные ошибки.

Ученые рассмотрели ситуацию и с другой стороны, проверив, что происходит, когда конечным пользователем ИИ становится не врач, а обычный пациент.

Выводы оказались обескураживающими: хотя сами модели (GPT-4o, Llama 3) блестяще решают экзаменационные задачи и тесты, в реальном диалоге с человеком их эффективность резко падает. Пациенты с ИИ выбирали тактику лечения не лучше контрольной группы, которая пользовалась обычным «гуглом».

Так почему ломается связка «человек-ИИ»?

Медицина — это не только «знание ответа», но и умение правильно спрашивать. Неспециалисты плохо формулируют жалобы, упускают детали и задают некорректные вопросы. Модель, в свою очередь, выдает несколько версий и делегирует выбор обратно пациенту, повышая риск ошибки.

Привычные медицинские бенчмарки (вроде MedQA) и симуляции виртуальных пациентов не работают. Они не показывают, как система поведет себя в живом диалоге. На экзаменах ИИ — «отличник», в реальности — источник повышенного риска.

Как выйти из «пилотного» режима?

Индустрии необходимо внедрение механизмов «контекстного переключения» — адаптивных архитектур, подстраивающихся под ситуацию — и переход от тестирования на датасетах к пользовательским испытаниям под контролем клиницистов.

Видимо, без этих изменений медицинский ИИ останется бесполезным и даже опасным инструментом. Для фармацевтических и страховых компаний это сигнал: пациенты «после чата с ИИ» не становятся информированнее, а разработчикам пора перестать гнаться за рекордами на экзаменах и начать честно изучать «серую зону» взаимодействия человека и нейросети.

Источник - Научный журнал Nature.

Источник: vk.com

Комментарии: