RobotriX - датасет для обучения роботов взаимодействию с объектами в помещениях

МЕНЮ


Искусственный интеллект. Новости
Поиск
Регистрация на сайте
Сбор средств на аренду сервера для ai-news

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация




RSS


RSS новости

Новостная лента форума ailab.ru


RobotriX — новый датасет для обучения роботов взаимодействию с объектами в помещениях. Набор данных состоит из гиперреалистичных внутренних сцен, которые исследуются агентами-роботами. Роботы реалистично взаимодействуют с объектами в моделируемом мире. Сцены и роботы сгенерированы с помощью движка Unreal Engine в шлеме виртуальной реальности, который отслеживает взгляд человека. Человек перемещает робота и использует контроллеры для захвата предметов. 

Особенности:

  • это самый большой и наиболее реалистичный синтетический набор данных на сегодняшний день;
  • он содержит плавную интеграцию реалистичных роботов и сцен в виртуальную реальность для простого создания правдоподобных последовательностей с взаимодействиями;
  • в нем предсталены видеопоследовательности в нескольких форматах с ground truth для решения широкого спектра проблем.

Набор данных состоит из  последовательностей движений, записанных в  комнатных макетах со скоростью продолжительностью от одной до пяти минут. В общей сложности датасет около  миллионов отдельных кадров. Для каждого из этих кадров предоставлены 3D позы для камер, объектов и джоинтов, RGB изображение, карты глубины и 2D-маски объектов.

Для генерации данных ученые создали инструмент UnrealROX. Они использовали движок Unreal Engine 4 для создания фотореалистичных RGB-изображений и базу со сценами комнат компании UE4Arch. В результате была получена среда виртуальной реальности для генерации синтетических данных для различных задач роботизированного зрения. В такой среде человек-оператор управляет роботом в виртуальной реальности свободно перемещаясь и взаимодействуя с объектами, как если бы это был робот в реальном мире.

Оператор управляет телом робота с помощью VR-шлемов Oculus Rift и HTC Vive Pro. Все последовательности действий и данные о сцене записываются и сохраняются. Информация о сцене выводится отдельно для каждого кадра, поэтому ее можно воспроизводить в автономном режиме для генерации новых сцен.

В будущем разработчики планируют добавлять больше данных, чтобы расширять круг возможных взаимодействий. Они собираются сконцентрироваться на добавлении нежестких объектов (жидкость, одежда и т.д.), которые можно сгенерировать с помощью Unreal Engine 4. Почитать больше о датасете и инструментах можно здесь. GitHub проекта здесь.


Источник: neurohive.io

Комментарии: