UnitedHealth грозит иск из-за алгоритма искусственного интеллекта, который якобы отказывал в помощи пожилым пациентам

Крупнейшая в США страховая компания UnitedHealth Group столкнулась с потенциальным коллективным иском по обвинению в дискредитации запросов пожилых людей на расширенную медицинскую помощь, которая по мнению обвинителей была вызвана использованием технологии искусственного интеллекта.

Компания использует модель машинного обучения nH Predict для прогнозирования объема медицинской помощи, которая может потребоваться пациентам, включая пребывание в учреждениях квалифицированного сестринского ухода и уход на дому. Страховщик применяет эту модель для выявления подозрений на мошеннические или необоснованные запросы на оплату медпомощи и отклонял запросы на такую оплату, основываясь на данных модели. Однако выяснилось, что если заявители подавали в суд на компанию за неправомерный отказ, то в 90% случаев суды соглашались с требованием, что и дало основания обвинять страховую компанию в использовании некачественной модели.

В ответ на обвинение представители UnitedHealth Group заявили, что окончательное решение о подтверждении или отказе в запросе на оплату медпомощи принимает сотрудник компании на основании действующих законодательных критериев, а не ИИ-инструмент.

Мой комментарий: этот случай имеет довольно знаковое отраслевое значение. Дело в том, что разработчики ИИ-систем конечно изо всех сил стремятся сделать так, чтобы их продукты были как можно глубже встроены в лечебно-диагностические и административные процессы здравоохранения, поскольку только в этом случае можно надеется на постоянное и системное применение ИИ, а не временные «игрушки» и эксперименты с модной технологий. Такое стремление вполне понятно – чем важнее какой-то ИИ-инструмент в ключевых процессах работы медицинской организации, тем больше шансов на постоянную выручку и стабильность бизнеса компании-разработчика. Однако такое стремление имеет и обратный эффект – чем больше какие-то ИИ влияют на принятие врачом или иным сотрудником решения, тем чаще и острее возникает вопрос – а кто будет отвечать в случае, если такое решение было ошибочным и эта ошибка была вызвана проблемами в работе ИИ-инструмента? И ладно бы речь шла, например о неправильно выписанной бумажке или управленческой ошибке. А вот что делать, если скажем из-за ИИ пациенту не оказали медицинскую помощь и это в конечном счете привело к тяжелой болезни или смерти пациента?

Представляется, что мы никак не отвертимся от пересмотра законодательных подходов к этому вопросу. Сейчас в любом случае за такой инцидент будет отвечать тот сотрудник, который совершил ошибку, пусть и с подачи ИИ. Но в будущем, мне кажется, ИИ-разработчики вынуждены будут как-то разделять такую ответственность. Причем если мы выйдем на массовое применение автономных ИИ-агентов, то ситуация может докатиться до того, что ИИ-компания будет главным объектом для предъявления судебных претензий, а не те – кто такие ИИ-системы внедрили и используют.

Источник: healthexec.com

Комментарии: