Pytorch выпустили обновление библиотеки для компьютерного зрения torchvision 0.3

Библиотека torchvision с инструментами для компьютерного зрения на Pytorch обновилась до версии 0.3. В обновленной версии был расширен список доступных моделей для распознавания объектов, семантической/instance сегментаций и распознавания опорных точек позы человека. Кроме расширения списка моделей, стали доступны новые C++ / CUDA операторы.

В новой версии теперь доступны базовые скрипты для обучения и оценки результатов моделей для решения задач классификации, семантической/instance сегментаций, распознавания объектов и опорных точек позы человека. Скрипты содержат примеры использования моделей и позволяют быстрее получить начальные результаты по поставленной задаче.

Примеры новых C++ / CUDA операторов, специфичных для работы с задачами компьютерного зрения:

• roi_pool (RoIPool);
• roi_align (RoIAlign);
• nms (метод пост-обработки изображения, когда оптимизируются границы объектов на изображении так, чтобы на каждый объект имел свои границы);
• box_iou (для расчета IoU метрики по границам объектов на изображениях — bounding boxes);
• box_area (так же, как и предыдущий оператор, помогает в выборе оптимальных границ объектов на изображении)

В библиотеку были добавлены следующие модели.

Сегментация объектов

Теперь доступны модели для попиксельного предсказания изображений. Были добавлены такие модели для сегментации, как FCN и DeepLabV3. Предобученные на датасете COCO веса для ResNet101 доступны публично.

Распознавание объектов

Были добавлены более быстрые версии моделей для распознавания объектов и опорных точек позы человека: Faster R-CNN, Mask R-CNN, Keypoint R-CNN.

Классификация изображений

Библиотеку пополнили следующие модели для задачи классификации изображений:

• GoogLeNet (Inception v1);
• MobileNet V2;
• ShuffleNet v2;
• ResNeXt-50 32x4d and ResNeXt-101 32x8d

Новые датасеты с изображениями

Помимо расширения списка моделей, в библиотеку были добавлены новые датасеты:

• Caltech101, Caltech256, и CelebA;
• ImageNet;
• Semantic Boundaries Dataset;
• VisionDataset как базовый класс для всех датасетов

Полный список обновлений доступен по ссылке. В открытом доступе есть тьюториалы для работы с библиотекой.