Hypersim: синтетический датасет Apple с изображениями интерьеров

Apple представила Hypersim — синтетический датасет фотореалистичных изображений помещений и интерьеров. Hypersim состоит из 77 400 изображений 461 сцен и предоставляет семантическую сегментацию.

Основным ограничением синтетических датасетов является отсутствие в данных семантической сегментации — группировки пикселей на отдельные объекты. Также в большинстве таких датасетов не предоставляется разложение изображений на отдельные компоненты освещения и тени, что делает их непригодными для решения обратных задач рендеринга. Hypersim решает обе проблемы: датасет включает полную геометрию сцены, информацию о материалах поверхностей и освещении, а также семантическую сегментацию для каждого пикселя.

Границы каждого объекта задаются параллелепипедом, что позволяет использовать датасет в задачах распознавания предметов:

Hypersim создан на основе размещенных в открытом доступе трехмерных рендеров. Для каждого изображения предоставлено его разложение на три компонента: часть с диффузным отражением, часть с диффузным освещением и недиффузионную остаточную часть, содержащую эффекты освещения, зависящие от угла обзора.

Датасет и код для его генерации опубликованы в открытом доступе.