EfficientPS: state-of-the-art модель для паноптической сегментации

EfficientPS — это нейросетевая модель для паноптической сегментации объектов на изображении. На данный момент модель обходит state-of-the-art подходы на датасетах Cityscapes, KITTI, Mapillary Vistas и IDD.

Паноптическая сегментация

Одним из подходов к оценке сцены изображения является паноптическая сегментация. Цель паноптической сегментации заключается в том, что бы использовать одну сверточную сеть одновременно для распознавания объектов и на переднем плане, и на заднем плане изображения. Паноптическая сегментация объединяет в себе семантическую и instance сегментации. 

Ограничения текущих подходов для паноптической сегментации заключаются в вычислительной неэффективности, медленном обучении и нестабильности результатов моделей. EfficientPS разрабатывали, чтобы обойти эти ограничения. Модель выдает более точные результаты в сравнении с state-of-the-art. При этом она быстрее обучается.

Что внутри EfficientPS

Архитектура модели состоит из следующих компонентов:

• Общая базовая модель, которая основывается на EfficientNet;
• Двухсторонняя FPN;
• Семантический модуль (semantic head);
• Сверточный instance модуль, который основан на Mask R-;
• Паноптический модуль, который объединяет результаты семантического и instance модулей 

Оценка работы модели

Исследователи оценили работу EfficientPS на 4 датасетах с изображениями улиц: Cityscapes, Mapillary Vistas, KITTI и IDD. EfficientPS обошла state-of-the-art подходы для паноптической сегментации на датасете Cityscapes. При этом предложенный подход требует меньшего количества параметров и вычислительных ресурсов и быстрее работает на инференсе. Для датасетов Mapillary Vistas, KITTI и IDD EfficientPS выдает сравнимый с state-of-the-art результаты.