Как сгенерировать миллиард демо-примеров для обучения роботов?

Проект Dex1B показывает, как это сделать просто — с помощью симуляции и генеративных моделей!

Цель проекта: создать масштабный датасет для двух задач:

Grasping — захват объектов ??

Articulation — манипуляции с подвижными частями робота

Как это работает:

1. Создание Seed-датасета

Сначала используется оптимизационный алгоритм, чтобы вручную (или полуавтоматически) собрать небольшой, но точный набор демонстраций — так называемый *Seed Dataset*.

2. Обучение генеративной модели

На основе Seed-датасета обучается DexSimple (https://jianglongye.com/dex1b/#method)— простая C-VAE модель (Conditional Variational Autoencoder). Она умеет порождать новые сцены, основываясь на контексте: тип объекта, поза руки, желаемое взаимодействие.

3. Масштабирование до 1 миллиарда

С помощью DexSimple создаются миллиарды новых демонстраций. При генерации учитывается разнообразие поз и объектов: используется преднамеренное «смешение» данных, чтобы не переобучаться на узком распределении.

4. Симуляция и проверка

Все демонстрации валидируются в физическом симуляторе ManiSkill/SAPIEN. Только успешные взаимодействия остаются в финальном наборе.

Что внутри:

- Grasping-сцены (1 млн штук): построены на базе ассетов из Objaverse

- Articulation-сцены: используют объекты из PartNet-Mobility — богатая коллекция с подвижными частями (двери, ящики, рычаги и т.п.)

- Каждая сцена содержит: 3D-модель объекта, позу руки, физику взаимодействия и результат

Почему это важно:

- Ручной сбор миллиардов примеров невозможен — здесь это решается генеративным путём

- Dex1B создаёт разнообразные и физически валидные примеры

- Это открывает путь к масштабному обучению роботов с использованием имитационного обучения

Сайт проекта: https://jianglongye.com/dex1b)

Статья : https://jianglongye.com/dex1b/static/dex1b.pdf

Источник: jianglongye.com

Комментарии: