Mamba Vision: Эффективная альтернатива трансформерам для компьютерного зрения

Mamba Vision - реализация архитектуры Mamba с применением селективных моделей пространства состояний (SSM) в области обработки изображений от Nvidia Lab.

MambaVision демонстрирует более эффективное использование вычислительных ресурсов по сравнению с традиционными архитектурами (VIT и Swin) на основе трансформеров, а использование SSM открывает новые способы извлечения и обработки визуальных признаков. Предлагаемая архитектура показывает хорошую масштабируемость, сохраняя эффективность при увеличении размера модели.

MambaVision применим к различным задачам компьютерного зрения, включая классификацию изображений и семантическую сегментацию.

Проект находится на начальной стадии, и его эффективность в реальных задачах компьютерного зрения еще предстоит полностью оценить.

На данный момент реализовано применение только в задаче классификации изображений.

Семейство MambaVision Pretrained (ImageNet-1K) моделей (прямая загрузка с Google Drive):

MambaVision-T (32М) https://drive.google.com/file/d/1zE8czwSTG5ogcsb93A95o_F3rlYf8R1G/view?usp=sharing

MambaVision-T2 (35М) https://drive.google.com/file/d/1KNJVRRBUSqOq7ZxqH1mDth4wWL5f1SFq/view?usp=sharing

MambaVision-S (50M) https://drive.google.com/file/d/1XoSctKJgRI6OMmYmdKOoTzvnoOtfqI64/view?usp=sharing

MambaVision-B (98M) https://drive.google.com/file/d/1wR2UeFzSmNjrC3jqJgp4IOGvYhlO9QYw/view?usp=sharing

MambaVision-L (228M) https://drive.google.com/file/d/1YfA9K_ZbZcoLCif-ltLWCvj2pQCvb4bJ/view?usp=sharing

MambaVision-L2 (241M) https://drive.google.com/file/d/1fw1bo_oNtIImScW38DFJIPKnRt6GrlS9/view?usp=sharing

Лицензирование:

Для некоммерческих проектов: CC-BY-NC-SA-4.0

Для коммерческого использования: запрос через форму

Github [ Stars: 32 | Issues: 0 | Forks: 2 ] https://github.com/NVlabs/MambaVision

Arxiv https://arxiv.org/pdf/2401.09417v1

Источник: drive.google.com

Комментарии: