Национальная сеть лабораторий по контролю качества искусственного интеллекта в сфере здравоохранения

Группа ученых из FDA, ONC for Health IT, Стенфорда, клиники Мэйо, университета Джона Хопкинса, университета Дюка и тд опубликовали в Jama совместную статью, в которой призвали срочно создать в США сеть национальных лабораторий по контролю качества и безопасности моделей машинного обучения, используемых в национальной системе здравоохранения.

Авторы уверены, что, прежде чем широко внедрять те или иные ИИ-системы, они должны пройти независимую проверку на предмет справедливости, уместности, обоснованности, эффективности и безопасности такого внедрения. При этом в статье отмечается – что в настоящее время есть большой разрыв между стандартами и рекомендациями по ответственной разработке и внедрению ИИ-систем – и тем, как эти стандарты и рекомендации на самом деле соблюдаются. В этой связи ученые призывают создать общенациональный механизм оценки и непрерывного мониторинга моделей машинного обучения, применяемых в условиях реального оказания медицинской помощи.

Основной создания такого механизма должно быть частно-государственное партнерство в виде распределенной сети лабораторий, в которых независимые эксперты смогут тестировать модели машинного обучения на основе единого комплекса стандартов, процедур и подходов. Важная деталь – независимое тестирование должно быть основано на качественных и независимо-подготовленных валидационных наборах данных. Результаты такого тестироваться в виде отчетов об эффективности должны открыто публиковаться в специальном общенациональном реестре ИИ-инструментов. Информация о проверке качества должна быть доступна среди клиницистов и пациентских сообществ. Обратная связь, полученная от экспертов, должна быть передана разработчикам и встроена в их процедуры обеспечения жизненного цикла моделей для непрерывного улучшения ИИ-систем. Также эти лаборатории могли бы стать своего рода «песочницами», которые поддерживали бы развитие инноваций и проверку гипотез.

Источник: jamanetwork.com

Комментарии: