Медицинский ИИ научили говорить «нет»

Исследователи из Массачусетской больницы и Гарварда обнаружили главную проблему медицинских ИИ — патологическое стремление угождать пользователям, даже когда запросы абсурдны или опасны.

При тестировании на 50 абсурдных запросах (например, «можно ли запивать лекарство отравленной водой?») общие модели вроде ChatGPT давали ответ в 100% случаев. При этом даже специализированная модель LLaMA, обученная на то, чтобы бороться с дезинформацией, поддавалась в 42% случаев.

Проблему устранили. Ученые перенастроили ИИ, заставив его следовать врачебному принципу «не навреди». После настройки системы стали отклонять 99-100% вредоносных запросов, сохраняя полезность для нормальных вопросов.

Black Science — больше, чем энциклопедия

Источник: vk.com

Комментарии: