Это сообщение от вашего врача? Возможно, оно было составлено искусственным интеллектом

В The New Your Times вышел материал журналистского расследования о ситуации вокруг приложения MyChart, созданного одной из крупнейших компаний по медицинскому программному обеспечению – Epic. Это приложение используется повсеместно в США для общения пациентов с их лечащими врачами. Изначально это был просто специализированный мессенджер, который на фоне пандемии COVID-19 приобрел большую популярность – т.к. в тех условиях получить консультацию без очного визита было очень часто – единственной возможностью.

В 2023 г. разработчик MyChat встроил в него ИИ-агента, который просматривал вопрос пациента, анализировал его прошлые обращения, а также записи из электронной медицинской карты, автоматически готовил ответ и выводил его на экран врачу, который должен был вначале проверить предложенный ИИ текст и только потом подтвердить его отправку. Более того, ИИ система могла искусственно созданной имитацией голоса врача прочитать сообщение пациенту.

Подразумевалось, что за счет такой автоматизации врачи будут тратить меньше времени на написание ответа, тем самым будет достигнута экономия времени и сокращена проблема врачебных выгораний – одна из самых серьезных в отрасли. Для работы ИИ использовался большая генеративная модель GPT-4. Около 15 тыс. врачей из более чем 150 медицинских центров стали использовать новую функцию.

В итоге выяснилось, что довольно часто врачи перестали проверять ответы ИИ и просто «на автомате» отправляли созданные сообщения своим пациентам. Те же в свою очередь, не имея специальных отметок о том – был ли ответ врача создан действительно им или это ответ ИИ, даже не подозревали – что на самом деле рекомендации даны не настоящим врачом и даже не проверены им, хотя текст был написан настолько хорошим языком, что отличить его от настоящей врачебной записи было просто невозможно.

Еще одной проблемой стало снижение критичного отношение к ответам ИИ со стороны врачей, появилось чрезмерное доверие к этим текстам.

Наконец, самым главным риском стали «галлюцинации». В ходе специального тестирования обнаружилось, что из 116 подготовленных ИИ ответов – 7 содержали ошибки и неправильные советы. Например, вскрылась ситуация – когда пациентка отправила своему доктору вопрос о необходимости вакцинации от гепатита В и в ответ получила заверение «от врача», что такие прививки были ей сделаны и даже их даты – что было совершенно ложным ответом, по факту – никаких вакцинаций пациентке не было выполнено, а врач просто не перепроверил ответ ИИ, доверившись что он был написан корректно.

В итоге проведения расследования было выяснено, что в случае – если врачи не будут перепроверять ответы ИИ, в 7% консультаций возникает риск причинения серьезного вреда здоровью пациентов

Источник: www.nytimes.com

Комментарии: