A2D2: Audi опубликовали датасет для задачи автономного вождения

A2D2 — это датасет с размеченными изображениями дорог для обучения моделей автономному вождению. Данные собирали Audi. Сам датасет содержит в себе семантическую сегментацию изображений дорог, разметку облака точек. Для части кадров есть разметка 3D границ объектов. Помимо размеченных данных, в A2D2 содержится сабсет неразмеченных данных с сенсоров (390 тысяч кадров).

Подробнее про датасет

Данные включают в себя 40 тысяч размеченных кадров с семантической сегментацией и классами для облака точек. Для 12 тысяч кадров есть разметка 3D границ объектов. Данные были собраны в трех разных городах. В каких именно — не указывается.

Семантическая сегментация

В A2D2 41,280 кадров содержат семантическую сегментацию на 38 классов. Каждый пиксель изображения имеет класс. Классы включают в себя “пешеход”, “машина”, “зелень” и подобное.

Сегментация облака точек

Сегментация облака точек производится с помощью объединения информации о семантической сегментации пикселей и данных с LiDAR. Каждой точке в 3D пространстве присваивается ярлык класса объекта. 

3D границы объектов

3D границы объектов предоставляются для 12,499 кадров. LiDAR точки в рамках поля зрения передней камеры размечены 3D границами объектов. Разработчики разметили 14 классов, которые относятся к вождению.

Тьюториал

Помимо датасета, разработчики опубликовали тьюториал по работе с датасетом. Тьюториал покрывает темы обработки конфигов сенсоров, точек из LiDAR, изображений камер и 3D границ объектов. Ссылка на тьюториал.

Технические детали сбора данных

Набор сенсоров состоял из 6 камер, 5 LiDAR сенсоров. Это позволило получать картинку в 360° с камер и сенсоров.