Китайцы впустили RoboBrain 2.0 — открытую универсальную модель ИИ

RoboBrain 2.0 (https://github.com/FlagOpen/RoboBrain2.0) — это open-source модель общего назначения окружения, способная к широкому спектру задач: от восприятия до управления роботами.

Её уже называют фундаментом для следующего поколения гуманоидов.

Поддерживает планирование, восприятие и действия в реальном мире

Заточен на легкую интеграцию в реальные проекты и роботиизированные системы

Полностью открытый код

Архитектура:

• Обрабатывает изображения, длинные видео и визуальные данные высокого разрешения

• Понимает сложные текстовые инструкции и графы сцены

• Входные данные:

— Визуальные — проходят через Vision Encoder + MLP Projector

— Текстовые — превращаются в унифицированный токен-поток

• Всё подаётся в LLM Decoder, который выполняет рассуждение, строит планы, определяет координаты и пространственные связи

С такими темпами более чем реально, что уже к 2027 году мы увидим массовое производство продвинутых гуманоидных роботов.

ИИ выходит в физический мир — и делает это уверено.

Запуск:

`git clone https://github.com/FlagOpen/RoboBrain2.0.git

cd RoboBrain

# build conda env.

conda create -n robobrain2 python=3.10

conda activate robobrain2

pip install -r requirements.txt`

Github: https://github.com/FlagOpen/RoboBrain2.0

Hugging face: https://huggingface.co/collections/BAAI/robobrain20-6841eeb1df55c207a4ea0036/

Источник: huggingface.co

Комментарии: