JSNet: семантическая и instance сегментация 3D облаков точек

JSNet — это нейросеть для end-to-end семантической и instance сегментации 3D облаков точек. Модель принимает на вход облако точек, а на выходе отдает разметку объектов для семантической и instance сегментации. JSNet тестировали на датасетах S3DIS и ShapeNet и сравнивали с существующими подходами. По результатам, модель обходить текущий state-of-the-art на задаче 3D instance сегментации.

Описание проблемы 

Семантическая сегментация — это задача, где необходимо выделить все информативные части сцены изображения и классифицировать каждую часть. Instance сегментация отличается от семантической тем, что разные объекты одного класса будут размечены отдельно. Несмотря на то, что для 2D изображений эти задачи решаются успешно, 3D сегментация остается сложной задачей. Это связано, например, с шумной обработкой данных, требованиям к вычислительным ресурсам и доступной памяти.

Как это работает

JSNet имеет два основных компонента в своей структуре: модуль Point Cloud Feature Fusion (PCFF) и модуль Joint Instance and Semantic Segmentation (JISS).

Сначала базовая сеть извлекает признаки из входного облака точек. Затем point cloud feature fusion модуль собирает признаки с разных слоев базовой сети, чтобы получить более разнообразные признаки. Joint instance semantic segmentation модуль трансформирует семантические признаки в пространство эмбеддингов для instance сегментации. Трансформированные признаки потом объединяются с instance признаками, чтобы упростить instance сегментацию. Параллельно этот же модуль агрегирует instance признаки в пространство семантических признаков, чтобы улучшить качество семантической сегментации. Instance разметка генерируется с помощью mean-shift кластеризации instance эмбеддингов. 

Тестирование работы модели

Исследователи протестировали модель на двух датасетах: Stanford Large-Scale 3D Indoor Spaces (S3DIS) и ShapeNet. S3DIS состоит из облаков точек интерьера зданий. ShapeNet датасет состоит из CAD моделей 16 категорий. JSNet выдает сравнимые с state-of-the-art результаты на задаче семантической сегментации. При этом предложенный подход обходит предыдущие модели на instance сегментации.