RobotriX - датасет для обучения роботов взаимодействию с объектами в помещениях

RobotriX — новый датасет для обучения роботов взаимодействию с объектами в помещениях. Набор данных состоит из гиперреалистичных внутренних сцен, которые исследуются агентами-роботами. Роботы реалистично взаимодействуют с объектами в моделируемом мире. Сцены и роботы сгенерированы с помощью движка Unreal Engine в шлеме виртуальной реальности, который отслеживает взгляд человека. Человек перемещает робота и использует контроллеры для захвата предметов. 

Особенности:

• это самый большой и наиболее реалистичный синтетический набор данных на сегодняшний день;
• он содержит плавную интеграцию реалистичных роботов и сцен в виртуальную реальность для простого создания правдоподобных последовательностей с взаимодействиями;
• в нем предсталены видеопоследовательности в нескольких форматах с ground truth для решения широкого спектра проблем.

Набор данных состоит из 512 последовательностей движений, записанных в 16 комнатных макетах со скоростью + 60 кадров в секунду, продолжительностью от одной до пяти минут. В общей сложности датасет около 8 миллионов отдельных кадров. Для каждого из этих кадров предоставлены 3D позы для камер, объектов и джоинтов, RGB изображение, карты глубины и 2D-маски объектов.

Для генерации данных ученые создали инструмент UnrealROX. Они использовали движок Unreal Engine 4 для создания фотореалистичных RGB-изображений и базу со сценами комнат компании UE4Arch. В результате была получена среда виртуальной реальности для генерации синтетических данных для различных задач роботизированного зрения. В такой среде человек-оператор управляет роботом в виртуальной реальности свободно перемещаясь и взаимодействуя с объектами, как если бы это был робот в реальном мире.

Оператор управляет телом робота с помощью VR-шлемов Oculus Rift и HTC Vive Pro. Все последовательности действий и данные о сцене записываются и сохраняются. Информация о сцене выводится отдельно для каждого кадра, поэтому ее можно воспроизводить в автономном режиме для генерации новых сцен.

В будущем разработчики планируют добавлять больше данных, чтобы расширять круг возможных взаимодействий. Они собираются сконцентрироваться на добавлении нежестких объектов (жидкость, одежда и т.д.), которые можно сгенерировать с помощью Unreal Engine 4. Почитать больше о датасете и инструментах можно здесь. GitHub проекта здесь.