«Иллюзорная обобщаемость клинических прогнозных моделей»

В журнале Science вышла статья «Иллюзорная обобщаемость клинических прогнозных моделей» (Illusory generalizability of clinical prediction models), в которой авторы наглядно и убедительно доказали то, о чем наша команда говорит последние несколько лет – то, что какая-то прогнозная модель показала высокие метрики точности при обучении, вовсе не значит – что при ее применении в реальных условиях эти метрики будут сохранены.

Исходно бытует мнение, что прелесть применения технологий искусственного интеллекта состоит в том, что можно взять довольно большой набор данных и, используя современные методы и алгоритмы машинного обучения, получить высокоточную прогнозную модель, которая поможет подобрать персональную диагностику и лечение для пациента и тем самым – повысить эффективность медицинской помощи.

Адам Чекроуд, профессор кафедры психиатрии медицинского факультета Йельского университета с группой соавторов показали, что при разработке модели машинного обучения, даже если она создана на основе высококачественного набора данных многоцентрового клинического исследования, полученные метрики точности существенно снижаются при проведении независимых клинических испытаний. И даже если попытаться снизить эту проблему, добавив в обучающий набор данных сведения из других клинических исследований и наборов, то все равно прогностическая точность моделей при их применении может деградировать. Это, в свою очередь, говорит о том, что современные прогнозные модели имеют ограниченную эффективность при обобщении на когорты пациентов, не входящих в обучающие данные.

«Реальность такова, что нам нужно думать о разработке прогнозных моделей так же, как мы думаем о разработке новых лекарств», — отметил Чекроуд. «Нам нужно увидеть алгоритмы, работающие в разное время и в разных контекстах, прежде чем мы сможем по-настоящему в них поверить».

Таким образом, проблема создания и внедрения в системе здравоохранения прогнозных моделей на основе машинного обучения состоит не в том, какая у них была достигнута точность при обучении, а в том – как избежать деградации этих точность при их применении. Опубликованные результаты на самом деле очень совпадают с нашими выводами и наблюдениями последнего времени. А именно – мало получить высокие метрики точности модели на этапе тестирования или даже внешней клинической валидации. Даже если это удалось – мы не можем быть на 100% уверены, что такая же точность будет достигнута при работе этой модели в составе системы поддержки принятия врачебных решений. Более того, сильно похоже, что мы можем говорить об обратном – есть большая и пока до конца не оцененная вероятность, что эти метрики будут деградировать.

Отсюда, мы делаем следующий вывод – основные усилия ИИ-разработчиков в области прогнозной аналитики для здравоохранения должны быть смещены от бесконечной гонки за высокие метрики чувствительности и специфичности – в сторону оценки и сохранения минимально-допустимых значений этих метрик в формате наблюдательных исследований и пострегистрационного мониторинга СППВР в условиях реальной клинической практики.

Ссылка на публикацию: https://www.science.org/doi/10.1126/science.adg853

Источник: www.science.org

Комментарии: