Робот TIAGo научился приносить 20 видов пива из холодильника

2018-02-27 14:29

Робот распознаёт нужный сорт пива среди 20-ти образцов

Один из участников конкурса ИИ-систем Nvidia Jetson Challenge нашёл неординарное применение системе Искусственного Интеллекта. В то время как другие участники пытались применить машинное зрение в системах здравоохранения, безопасности, промышленных системах IoT и инновационных решениях робототехники, немецкие разработчики научили своего робота PAL Robotics TIAGo… приносить пиво из холодильника!

Свободный робот TIAGo («свободный» не в смысле свободы воли, а в смысле открытого программного обеспечения и опубликованного дизайна некоторых комплектующих для самостоятельного изготовления и сборки) от испанской компании PAL Robotics — это сервисный робот, предназначенный для обслуживания людей внутри помещений. Программное обеспечение создано на стандартном открытом фреймворке Robot Operating System (ROS), так что эта модель идеальна для различных исследований и экспериментов в области робототехники.

Для TIAGo доступна подробная документация, в том числе инструкции по работе OpenCV, PCL, автономной навигации, MoveIt! и системы взаимодействия с людьми. Есть готовый симулятор Gazebo для быстрого тестирования алгоритмов, проектирования робота, регрессионного тестирования и обучения систем машинного зрения на реалистичных сценариях.

Группа немецких студентов-программистов — Рафаэль Мемесхаймер (тим-лидер), Лукас Буххольд (семантическая сегментация) и Иванна Михальчишина (манипулирование) — подключили к роботу TIAGo модульный компьютер Nvidia Jetson TX2, специально сконструированный для обсчёта задач ИИ, в том числе машинного зрения.

Nvidia Jetson TX2. Фото: Nvidia

Jetson TX2 — энергоэффективный встроенный модуль для быстрых ИИ-вычислений, построенный на архитектуре Pascal. Благодаря миниатюрному форм-фактору, низкому энергопотреблению 7,5 Вт он отлично подходит для роботов, дронов, мультикоптеров, умных камер и портативных медицинских устройств, считает производитель. Модуль оборудован 8 ГБ оперативной памяти, с пропускной способностью шины памяти 59,7 ГБ/с. Для справки, вот технические характеристики Jetson TX2, а также более дешёвого модуля Jetson TX1 прошлого поколения на архитектуре Maxwell.

	Jetson TX2	Jetson TX1
GPU	NVIDIA Pascal, 256 ядер CUDA	NVIDIA Maxwell, 256 ядер CUDA
CPU	HMP Dual Denver 2/2 MB L2 + Quad ARM A57/2 MB L2	Quad ARM A57/2 MB L2
Видео	4K x 2K 60 Гц кодирование (HEVC) 4K x 2K 60 Гц декодирование (12 бит)	4K x 2K 30 Гц (HEVC) 4K x 2K 60 Гц декодирование (10 бит)
Память	8 ГБ 128 бит LPDDR4 59.7 GB/s	4 ГБ 64 бит LPDDR4 25.6 GB/s
Дисплей	2x DSI, 2x DP 1.2 / HDMI 2.0 / eDP 1.4	2x DSI, 1x eDP 1.4 / DP 1.2 / HDMI
CSI	До 6 камер (две линии) CSI2 D-PHY 1.2 (2,5 Гбита/с на линию)	До 6 камер (две линии) CSI2 D-PHY 1.1 (1,5 Гбита/с на линию)
PCIE	Gen 2 \| 1x4 + 1x1 OR 2x1 + 1x2	Gen 2 \| 1x4 + 1x1
Накопитель	32 ГБ eMMC, SDIO, SATA	16 ГБ eMMC, SDIO, SATA
Другое	CAN, UART, SPI, I2C, I2S, GPIOs	UART, SPI, I2C, I2S, GPIOs
USB	USB 3.0 + USB 2.0
Связь	1 Gigabit Ethernet, 802.11ac WLAN, Bluetooth
Размеры и механика	50?87 мм (400-пиновый коннектор для соединения плат)

Эти игрушки стоят $499 и $344, а в комплекте с dev-китом ещё дороже (для учебных заведений США и Канады скидка в размере $300).

Так вот, на базе робота TIAGo и модуля Jetson TX2 немецкие студенты разработали программу автономного управления, которая находит путь к холодильнику, открывает дверцу,

распознаёт пиво с помощью нейросети семантической сегментации HomeNet (исходный код),

захватывает его манипулятором,

закрывает дверцу

и везёт пиво хозяйке.

Теперь студенты всерьёз рассчитывают получить один из призов на конкурсе — $10 000, видеокарту NVIDIA TITAN Xp, набор разработчика Jetson TX2 или бесплатный курс в Институте глубинного обучения (Deep Learning Institute). Финалистам конкурса также оплатят билеты на GTC 2018 (GPU Technology Conference) — конференцию по GPU-инновациям и Искусственному Интеллекту, которая пройдёт 25-29 марта в Калифорнии.

Источник: geektimes.ru

Робот TIAGo научился приносить 20 видов пива из холодильника

Комментарии: