TartanAir: датасет для обучения роботов передвижению

TartanAir — это датасет для обучения робота передвижению. Датасет состоит из мультимодальных данных сенсоров и разметки, которая включает в себя RGB изображения, карты глубины, сегментацию, оптический поток, позиции камер и облако точек из LiDAR. TartanAir позволяет обучать модели решать задачу одновременной локализации и построения карт (SLAM) на основе визуальных данных. Датасет доступен в открытом репозитории на GitHub.

Данные собирали в фотореалистичной симуляции среды с разными параметрами освещения, погоды и движущихся объектов. Исследователи использовали среды с разнообразными стилями и сценами, чтобы способствовать повышению способности модели к генерализации знаний при обучении. Сбором данных занимались исследователи из Carnegie Mellon University, the Chinese University of Hong Kong, Tongji University и Microsoft Research.

Подробнее про данные

Чтобы обучать роботов выполнять новые действия, необходимо найти способ симулировать желаемое поведение. Это возможно сделать в искусственной среде, в которой будет обучаться модель. Такой подход одновременно упрощает процесс тестирования работы модели. В случае обучения и тестирования модели в искусственной среде робота необязательно тестировать в реальном мире. Реалистичные среды из TartanAir рендерились в Unreal Engine и собирались с помощью программы AirSim. AirSim — это опенсорсный симулятор от Microsoft.

Датасет состоит из 1037 длинных последовательностей действий, которые собирали с агентов в 30 средах. Размер данных составляет 4 терабайта. Среды варьируются от заводов и густых лесов до городов. Симулятор также включает в себя среды, в которых есть движущиеся объекты. Например, станки на заводах, рыбы в океане и люди в городах.