Роботы станут эффективнее благодаря тактильным сенсорам (+видео)

Восемь лет назад группа исследователей из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института представила новую технологию сенсоров GelSight, которая позволяет с помощью физического контакта получить подробную 3D-карту поверхности предмета.

Теперь, установив сенсоры GelSight на механические манипуляторы, ученые смогли сделать роботов эффективнее. Исследователям удалось создать машины, способных оценивать твердость поверхности и работать с беспрецедентно маленькими предметами.

Сенсор GelSight состоит из фрагмента прозрачной резины, одна сторона которого покрыта металлической краской. При нажатии резина принимает форму объекта, а краска отражает свет, что позволяет компьютерным алгоритмам оценить геометрию с помощью трех источников цветного света и камеры. Сравнивая отражения цветов, компьютер распознает форму объекта.

Оценивая твердость предмета, робот может не только решить, как его лучше взять, но и рассчитать его поведение. Ранее роботы пытались определять твердость, легко надавливая на предмет – тогда как люди распознают мягкие предметы по тому, как увеличивается площадь пальцев при касании. С помощью GelSight удалось реализовать именно такой подход: нейросеть изучила данные о деформации предметов при нажатии и сопоставила их с информацией о твердости объектов. Робот, оснащенный сенсорами GelSight, в ходе эксперимента так же оценил твердость фруктов и овощей, как и люди.

В рамках другого исследования ученые попытались решить еще одну распространенную проблему автономных роботов. Поднимая предметы, роботы закрывают большую их часть собственным манипулятором, что мешает точно определять положение объекта в критически важные моменты. Например, в одном из экспериментов роботу удалось успешно поднять дрель, но ему потребовалось несколько минут, чтобы включить ее. Именно поэтому ученые решили совместить два метода, передавая задачу определения местоположения сенсорам GelSight, когда инструмент уже находится в «руках» робота.

Как правило, основная трудность такого подхода – совмещение визуальных и тактильных сведений, однако GelSight работает с помощью камеры, так что с его данными значительно проще работать. В ходе экспериментов роботу, оснащенному сенсорами GelSight, удалось поднять небольшую отвертку, вынуть ее из чехла и положить обратно. Разумеется, данные GelSight относятся не ко всей отвертке, а к небольшому фрагменту – тем не менее, при соблюдении точности до нескольких сантиметров алгоритмы справляются с задачей.

Тактильные данные – именно то, чего не хватает роботам, чтобы сравниться по эффективности с людьми, ведь сейчас они в основном опираются на визуальную информацию. Системы глубинного машинного обучения могут получить множество преимуществ от данных таких сенсоров, как GelSight. В будущем подобные методы обучения могут быть интегрированы в автономные системы, чтобы сделать роботов эффективнее – они также могут помочь лучше понять моторику человека.