Dense Object Net обучит роботов сешментировать и перемещать вещи

Исследователи из MIT разработали алгоритм компьютерного зрения Dense Object Net, который помогает роботам в реальном времени распознавать, анализировать и определять назначение новых объектов.

Теперь роботы смогут лучше манипулировать предметами — выбирать нужный предмет из нескольких, оценив его свойства.

Как работает алгоритм

Сначала робот фотографирует объект с разных сторон. Затем нейронная сеть Dense Object Net создаёт уникальные координаты для каждой точки объекта. Робот различает цвета и формы, и способен, например, достать коричневый ботинок из кучи обуви.

Алгоритм видит объект как множество точек в системе координат, создавая 3D карту, которая помогает роботу анализировать с какой стороны и как захватить объект. Например, поднять ботинок за язычок. Робот также понимает, где ось координат объекта и различает право и лево. Для анализа объекта алгоритму требуется в среднем 20 минут. Нейронная сеть обучается без учителя, поэтому чтобы изучить объект, алгоритм использует те фотографии, которые были сделаны для создания карты с координатами.

Система использует RGBD сенсоры для реконструкции 3D модели захватываемого объекта. Это позволяет анализировать объекты и с простыми и со сложными формами. За время тестирования  робот распознал и проанализировал 47 объектов из 3 классов: обувь, шляпы и кружки.

Метод будет полезен для совершенствования роботов на производствах и складах.

Ссылка на GitHub проекта.

Источник: neurohive.io

Комментарии: