MedSAM-3: адаптация SAM 3 для медицины

MedSAM-3 - исследовательский проект, который переносит возможности сегментации по текстовым запросам из общего домена в медицинский.

Несмотря на мощь оригинальной SAM 3, тесты показали ее слабую применимость к клиническим данным: базовая модель часто путает анатомические структуры и не понимает специфические термины.

MedSAM-3 решает эту проблему, позволяя врачам выделять объекты на снимках МРТ, КТ, УЗИ и гистопатологии с помощью естественного языка. Например, по запросу `«сегментируй опухоль молочной железы»`.

В основе (https://arxiv.org/pdf/2511.19046) - дизайн SAM 3 с двойным трансформером. На обучении заморозили энкодеры изображений и текста, чтобы сохранить сильные визуальные приоритеты оригинала, а вот компоненты детектора прошли SFT на медицинских датасетах. Это позволило сохранить мощный базис оригинальной SAM 3, но добавить ей понимание медицинской специфики.

В посттрейн-тестах наилучшую производительность показала конфигурация MedSAM-3 T+I, где текстовые подсказки были объединены с ограничивающими рамками. Такой подход позволил тестовой модели обойти классический U-Net и первую версию MedSAM на бенчмарках BUSI (Dice score - 0.7772) и Kvasir-SEG.

Помимо самой модели, разработчики собрали агентный фреймворк MedSAM-3 Agent.

Он использует мультимодальную LLM (в экспериментах - Gemini 3 Pro) в качестве планировщика, который анализирует запрос, выстраивает цепочку рассуждений и итеративно управляет процессом сегментации.

В эксперименте c Gemini 3 Pro, на том же тестовом наборе BUSI, метрика Dice выросла с 0.7772 до 0.8064.

Проект пока на стадии техотчета, но разработчики обещают опубликовать код и веса модели в ближайшее время. Так что тем, кто занимается ИИ в медицине - рекомендуем следить за репозиторием (https://github.com/Joey-S-Liu/MedSAM3) на Github.

Лицензирование: Apache 2.0 License.

Arxiv (https://arxiv.org/pdf/2511.19046)

Github (https://github.com/Joey-S-Liu/MedSAM3)

Источник: github.com

Комментарии: