Базовые (foundation) модели ИИ для здравоохранения стремительно приближаются, меняя привычные подходы к разработке искусственного интеллекта

Сегодня мы поговорим о новой статье в журнале Nature, которая представила модель BiomedParse, обещающую революционизировать анализ медицинских изображений.

Почему базовые модели важны?

При разработке ИИ для медицинских целей традиционный подход включает несколько этапов: сбор данных, их разметка врачами и обучение модели на этих данных для решения одной узкой задачи. Однако этот процесс требует значительных ресурсов, включая время и финансирование, что ограничивает масштаб применения. До 2024 года в мире не было базовых моделей для мультимодальных медицинских целей. Это принципиально важно, так как количество задач, предназначенных для ИИ еще много, а вот время и ресурсы, которые мы тратим на разработку ИИ для одной задачи ограничены. Базовые модели меняют правила игры. Они обучаются на больших объемах данных без необходимости предварительной разметки, создавая универсальные инструменты, которые могут адаптироваться к множеству задач.

Что такое базовая модель?

Есть много определений базовой модели, Базовая модель (foundation model), поэтому попробую собрать общий вывод простыми словами:

Это технология самообучения на большом объеме данных без учителя.

Другими словами, в контексте медицинской визуализации это означает, что модель учится понимать и интерпретировать медицинские изображения без предварительной разметки каждого снимка врачами.

Ключевые отличия от традиционного подхода:

1. Объем данных и мультимодальность:

Базовые модели используют гораздо больше данных, чем традиционные подходы, что позволяет им лучше обобщать и понимать сложные паттерны. Поэтому мало кто может замахнуться на обучение таких моделей, так как обычно возникает проблема еще на этапе сбора данных, так как речь идет от миллионах примеров для самообучения.

2. Снижение зависимость от разметки вплоть до полной независимости:

Традиционные модели требуют тщательной разметки каждого изображения экспертами, что трудоемко и дорого. Базовые модели обходят это ограничение. Разумеется, в этом подходе нужны значительные вычислительные мощности, которые есть далеко не у всех в доступе, поэтому обычно это стоит немалых финансовых ресурсов.

3. Универсальность для экономии ресурсов:

Базовые модели могут быть адаптированы для различных задач без необходимости обучения с нуля для каждой новой задачи. Обычные подходы обучения сегодняшних ИИ можно сравнить с ресурсами затраченными на обучение с нуля до уровня ординатора. По сравнению с этм базовая модель - это уже окончивший школу медалист (не путать с металистом?), который быстро доучивается до уровня ординатора, в отличие от традиционного подхода, где обучение начинается с нуля.

Другими словами, создать базовую модель сложно и дорого, но потом ее можно использовать, чтобы быстро создавать ИИ экспертного уровня не хуже, чем ИИ, обученные с нуля.

Преимущества для медицинского сообщества:

1. Экономия времени:

Рентгенологи смогут сосредоточиться на интерпретации результатов, а не на разметке данных. Мы можем становится операторами работы с результатами ИИ для простых задач, оставляя для себя когнитивно сложные

2. Улучшенная диагностика:

Базовые модели могут обнаруживать такие паттерны, которые могут быть незаметны даже опытному глазу.

3. Обучение студентов и ординаторов:

Модели могут служить мощным инструментом для обучения, демонстрируя сложные случаи и редкие патологии.

Потенциальные применения:

1. Скрининг:

Автоматизированный анализ большого количества снимков для выявления потенциальных патологических находок. Сложно создать такие ИИ, которые смогут сразу анализировать большое количество патологий, а с использованием базовой модели это становится возможным. Это открывает перспективы для применения в сценариях дифференцировки на норму и патологию для автономных ИИ.

2. Поддержка принятия решений:

Помощь рентгенологам в сложных случаях, предоставляя дополнительный "взгляд". Конечно, сегодняшние ИИ тоже делают такое, но они чаще всего сфокусированы на одной или нескольких задач, никогда не охватывая всех (так как для каждой придется учить свой ИИ).

3. Исследования:

Анализ больших объемов данных для выявления новых биомаркеров и паттернов заболеваний. Благодаря тому, что базовая модель не ограничена одной модальностью, а предлагает возможности включать в обучающую выборку текст, изображения, сигналы и т.д., то это может подталкивать к появлению новых открытий в диагностике заболеваний.

теперь о статье Nature, которая вышла 18 ноября.

(A foundation model for joint segmentation, detection and recognition of biomedical objects across nine modalities - полая статья прикреплена к посту)

Она предлагает новый инструмент для лучевой диагностики:

BiomedParse -

это инновационная модель, которая обещает кардинально изменить подход к анализу медицинских изображений в лучевой диагностике. Это первая универсальная модель, которая объединяет сегментацию, обнаружение и распознавание объектов на основе данных из девяти типов визуализаций, включая КТ, МРТ, рентген и УЗИ.

Что предлагает BiomedParse?

Эта модель устраняет необходимость в ручном выделении объектов. Теперь достаточно текстового запроса, например: «опухоль в правом лёгком» — и модель автоматически находит и сегментирует нужную область. Работает с девятью различными типами медицинских визуализаций, включая КТ, МРТ, рентгенография и УЗИ. Особенно эффективна при работе с объектами сложной формы, где предыдущие технологии демонстрировали низкую точность.

Объём данных и результаты

BiomedParse обучена на массиве из более 1 млн изображений (в сумме 6,8 миллиона изображений, масок и текстовых описаний) из 45 различных наборов данных. Все данные были обработаны, гармонизированы и классифицированы с помощью GPT-4, что заняло огромное количество вычислительных ресурсов. Однако именно эта интеграция позволила создать единую онтологию для медицинских изображений. Это позволило модели продемонстрировать интересные результаты:

- Интеграция описаний позволила привести к повышенной точности в сегментации, обнаружении и классификации объектов (за счёт взаимосвязи между разными задачами).

- Улучшение результатов анализа объектов с неправильными формами на 39% по сравнению с лучшими существующими методами;

- Показывать стабильно высокие результаты на изображениях из реальной клинической практики. Но это еще нужно доказать на практике.

Почему BiomedParse важна для врачей?

Она открывает возможности для:

1) Более быстрой диагностики — модель сама выделяет патологические участки, экономя время врача.

2) Анализа сложных случаев — опухоли или патологии с неправильной формой больше не будут вызывать сложностей.

3) Работы в режиме «всё в одном» — сегментация, обнаружение и распознавание без необходимости переключаться между инструментами.

Можно ли скачать модель?

BiomedParse описана как базовая модель (foundation model), но вопрос её доступности для широкого использования зависит от решения авторов. В статье пока нет информации о публичной раздаче, но упоминается её тестирование на реальных данных. Вероятно, для её использования потребуется запрос у разработчиков.

Позволяет ли BiomedParse быстрее создавать новые ИИ?

Да, это одно из ключевых преимуществ BiomedParse. Благодаря универсальной архитектуре, её можно использовать как основу для обучения специализированных моделей. Такой подход значительно сокращает время разработки новых ИИ для радиологии, ведь:

а) Модель уже обучена на разнообразных данных.

б) Её текстовые и визуальные возможности легко адаптируются под конкретные задачи.

Однако текущие результаты говорят о том, что обучение одной базовой модели для всех типов данных не самое лучшее предложение развития ИИ на текущем этапе

Вместо заключения:

1) Базовые модели представляют собой значительный шаг вперед в применении ИИ в медицинской визуализации, который можно футуристично назвать "шагом в сторону сильного ИИ в медицине". Однако сами авторы пока осторожно заявляют об этом, так как это подход к объединению задач и использования текстовых подсказок — шаг в сторону более универсальных систем.

2) Технология базовой модели способна бросить вызов здесь всем существующим моделям ИИ в компьютерном зрении, при наличии достаточного объема данных, вычислительных мощностей и заодно удачи.

3) Теоретически, будущее ИИ в медицине полностью способно измениться с приходом базовых моделей и все сегодняшние продукты ИИ уйдут в прошлое, так как будут заменены ИИ, обученными на основе базовых моделей.

4) Мы тоже работаем над созданием базовых моделей и есть определенные успехи, хотя впереди еще много барьеров и сложных решений. Надеюсь, что скоро обрадуем вас новостями в этом направлении. Если есть дополнительные вопросы, то будем рады на них ответить от лица экспертов AIRI

Источник

https://www.nature.com/articles/s41592-024-02499-w

https://medicalxpress.com/news/2024-11-qa-medical-ai-disease-range.html

Источник: medicalxpress.com

Комментарии: