IBM Watson выдавал «небезопасные и неправильные» рекомендации по лечению рака

Внутренние документы компании IBM показывают, что эксперты-медики, работающие с суперкомпьютером Watson, обнаружили «многочисленные примеры небезопасных и неправильных рекомендаций по лечению», используя программное обеспечение, сообщает Stat News. Из документов стало понятно, что продукт выдает «зачастую неточные» предположения, что вызывает «серьезные вопросы к процессу создания содержимого и к технологиям в его основе».

Одним из примеров в документах стал случай 65-летнего старика, которому поставили диагноз рака легких и у которого обнаружили мощное кровотечение. Watson предложил назначить мужчине химиотерапию и препарат «Бевакизумаб». Но этот препарат может привести к «мощному или смертельному кровотечению», а значит его нельзя прописывать людям с сильным кровотечением. Впрочем, эту рекомендацию не давали пациенту, поэтому она могла быть частью испытания системы.

В документах обвиняют обучение, предоставленное инженерами IBM и врачами из MSK, которые заключили партнерство с IBM в 2012 году, чтобы научить Watson «думать» как врач. Из документов следует, что вместо того, чтобы скармливать ИИ данные реальных пациентов, врачи кормили его данными гипотетических пациентов или данные «искусственных» случаев.

Результаты врачам не понравились.

«Этот продукт — дерьмо собачье», сказал IBM врачи из Jupiter Hospital во Флориде. «Мы купили его [под влиянием маркетинга] и с надеждой, что вам удастся добиться своего. Мы не можем использовать его в большинстве случаев».

И это лишь одна из жалоб врачей, которые включили в документы.

Неизвестно, что будет с IBM Watson дальше, потому что врачи не могут разглашать секретную информацию ни о IBM, ни о работе с ИИ, ни о пациентах, но многие из них уже не работают с чудо-компьютером.