CenterMask: instance сегментация в реальном времени

CenterMask — это нейросетевая модель для instance сегментации в реальном времени. Нейросеть основывается на архитектуре одноступенчатого детектора объектов FCOS. Исследователи добавили к FCOS архитектуре новый блок spatial attention-guided mask (SAG-Mask). SAG-Mask предсказывает маску сегментации для каждого бокса объекта. При предсказании SAG-Mask учитывает карту пространственного внимания (spatial attention map), чтобы минимизировать шум в предсказанных масках. С ResNet-101-FPN в основании CenterMask достигает 38.3% по AP (Average Precision). Это превышает точность предыдущих state-of-the-art подходов при более высокой скорости. 

Использование на инференсе полностью сверточных подходов ускоряет выдачу предсказаний. Недавно была опубликована архитектура для instance сегментации, которая также основана на FCOS, — BlendMask.

Архитектура CenterMask

CenterMask состоит из трех частей:

1. Модель в основании (backcone), которая извлекает признаки из изображений;
2. Блок с детектированием объектов с помощью полностью сверточной одноступенчатой FCOS;
3. Блок для предсказания маски объекта SAG-Mask. SAG-Mask использует карту пространственного внимания (spatial attention map) при предсказании масок объектов

Результаты экспериментов

Исследователи сравнили CenterMask с state-of-the-art одноступенчатыми решениями для instance сегментации. Нейросети тестировали на датасете COCO. В качестве метрики выбрали Average Precision предсказанных масок. Ниже видно, что CenterMask преимущественно обходит альтернативные подходы в средней точности.

Источник: neurohive.io

Комментарии: