MASt3R-SLAM: детализированный SLAM с априорными данными 3D-реконструкции в реальном времени

MASi3R-SLAM (https://edexheim.github.io/mast3r-slam/) - проект, который умеет строить детальные 3D-карты окружающей среды и отслеживать движение камеры в реальном времени без предварительной калибровки. Система работает даже с изменяющимися во аремени параметрами, например, при зумировании или оптических искажениях.

Основа MASi3R-SLAM - алгоритм, использующий модели DUSi3R и MASi3R для восстановления геометрии сцены по 2 изображениям. DUSi3R анализирует пары изображений, предсказывая детальные карты 3D-точек в общей системе координат, а MASi3R дополнительно генерирует дескрипторы для каждого пикселя, повышая точность сопоставления даже при большом смещении кадров.

Полученные данные от моделей обрабатывает уникальный алгоритм, который анализирует «карты точек», прогнозируемые нейросетью, и находит соответствия между кадрами за 2 миллисекунды, что в 40 раз быстрее аналогов.

В тестировании на наборах TUM RGB-D и EuRoC, показали: MASi3R-SLAM превосходит DROID-SLAM и другие системы по точности траектории (средняя ошибка — 3 см) и детальности 3D-моделей.

На сегодняшний день основное ограничение MASi3R-SLAM — скорость декодера из-за его вычислительной нагрузки: полный цикл обработки одного ключевого кадра занимает в среднем 26–27 миллисекунд, что примерно 64% общего времени работы паплайна.

Например, при разрешении 512 пикселей по длинной стороне декодер MASi3R тратит до 2 секунд на глобальный поиск соответствий, тогда как алгоритм сопоставления сокращает это время до 2 мс. На выходе создается «бутылочное горлышко», которое ограничивает частоту кадров до 15 FPS.

?? Перед установкой необходимо загрузить модели (https://download.europe.naverlabs.com/ComputerVision/MASt3R/) и установить версию Pytorch, соответствующую установленной версии CUDA.

??Локальная установка и примеры запуска для live-режима и видео:

# Create Conda env  
 
 conda create -n mast3r-slam python=3.11 
 
 conda activate mast3r-slam 
 
 # Clone Repo 
 
 git clone https://github.com/rmurai0610/MASt3R-SLAM.git —recursive 
 
 cd MASt3R-SLAM/ 
 
 # Install dependencies 
 
 pip install -e thirdparty/mast3r 
 
 pip install -e thirdparty/in3d 
 
 pip install —no-build-isolation -e . 
 
 # Launch Live demo with camera 
 
 python main.py —dataset realsense —config config/base.yaml 
 
 # Or running on a MP4 video 
 
 python main.py —dataset <path/to/video>.mp4 —config config/base.yaml 
 
 python main.py —dataset <path/to/folder> —config config/base.yaml

?Лицензирование: CC-BY-NC-SA-4.0 License.

?Страница проекта (https://edexheim.github.io/mast3r-slam/)

?Набор моделей (https://download.europe.naverlabs.com/ComputerVision/MASt3R/)

?Arxiv (https://arxiv.org/pdf/2412.12392)

?GitHub (https://github.com/rmurai0610/MASt3R-SLAM)

Источник: github.com

Комментарии: