Искусственный интеллект научился предсказывать тактильные ощущения на глаз

Исследователи из Лаборатории информатики и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) научили нейросеть по внешнему виду объекта предсказывать тактильные ощущения, которые могут возникнуть от прикосновения к нему, и наоборот. Как пишет The Next Web, вкратце о своей работе исследователи рассказали на конференции CVPR-2019, стартовавшей в Лонг-Бич в Калифорнии 16 июня.

Несмотря на активное развитие систем машинного зрения и осязания, современные роботы все еще ограничены в своем взаимодействии с окружающим миром. Предполагается, что обучение машин предсказывать тактильные ощущения от взаимодействия с предметами или предсказывать их внешний вид на основе таких ощущений, позволит роботам быстрее, безопаснее и точнее манипулировать объектами.

Для обучения нейросети исследователи из MIT CSAIL использовали промышленного робота Kuka, манипулятор которого был оснащен тактильной системой GelSight. Она представляет собой сенсор с камерой, многоцветной светодиодной подсветкой и гелевым слоем.

При взаимодействии с объектами гелевый слой деформируется. Эти деформации подсвечиваются светодиодами и регистрируются камерой. Впоследствии на основании нескольких кадров деформации система составляет трехмерную модель части объекта, с которой контактировала система GelSight.

При обучении робот Kuka касался различных объектов, собирая данные о тактильных ощущениях от таких касаний. Одновременно велась видеозапись таких прикосновений. В общей сложности робот Kuka перетрогал 200 различных бытовых предметов. Общее количество касаний составило 12 тысяч.

Затем на основе полученных записей исследователи составили базу данных, содержащую 3 миллиона кадров с видеозаписей, сопоставленных с тактильными данными. Базу данных исследователи назвали VisGel. Эта база в дальнейшем и использовалась для обучения нейросети.

В марте текущего года американские инженеры представили алгоритм, под управлением которого роботизированный манипулятор способен распознавать незнакомые объекты, классифицировать их основные составные части и взаимодействовать с ними. Например, робот способен распознать кружку, определить ее ручку и повесить кружку на сушилку.

Василий Сычёв

Источник: nplus1.ru

Комментарии: