Галлюцинирующие ИИ

Генеративные модели могут нагенерить всякого. В том числе несуществующего. И если при создании видео, изображений или текстов это скорее плюс, то для медицинских систем явный минус. Вариации на тему ИИ всё-таки не для этого разрабатывали.

Так что ИИ ещё не скоро заменит врача как минимум за операционным столом. Представляете себе систему, которая вдруг идентифицировала вас как котика и решила, что усы, лапы и хвост - всё, что вам сейчас нужно. И реализовала это всё.

В рамках исследования (https://bhmpc.com/2024/12/ai-hallucination/), проводимого BHM Healthcare Solutions, выяснилось, например, что система оценки сложных изображений ошибочно помечала доброкачественные узлы как злокачественные в 12% случаев, что приводило к ненужным хирургическим вмешательствам.

Но это ещё не всё. Некоторые модели ИИ фабриковали целые пулы пациентов, включая несуществующие симптомы и применявшиеся к ним методы лечения.

А система проверки взаимодействия лекарств на основе ИИ ошибочно определяла недопустимые лекарственные взаимодействия, заставляя врачей без необходимости избегать реально эффективных комбинаций препаратов.

В целом различные системы ИИ, основанные на генеративных моделях, галлюцинируют от 3 до 27% рабочего времени даже при выполнении таких простых задач, как резюмирование научных новостей, то есть даже в эту область без контроля их пускать нельзя.

Так что отберите у ИИ скальпель, пусть пока что полы на отделении помоет. И подучится. Не хватало нам ещё чат-ботов с тревожным расстройством или паническими атаками...

Источник: bhmpc.com

Комментарии: