Учёные научили роботов понимать жесты водолазов под водой

Исследователи из Университета Загреба (Хорватия) и Института биоинженерии Университета Окленда (Новая Зеландия) представили инновационный открытый набор данных Diver-Robot Communication Dataset (набор данных для взаимодействия водолаза и подводного робота) — первую в мире масштабную базу изображений, предназначенную для обучения систем подводного распознавания жестов и взаимодействия человека с робототехническими комплексами.

Новый датасет содержит более 30 000 подводных кадров и около 900 отдельных жестов, выполненных десятью водолазами (по пять человек в море и в бассейне) на расстояниях 1, 2 и 3 метра от камеры. Съёмка велась как в прозрачной, так и в мутной воде, что позволяет оценивать устойчивость алгоритмов при разных условиях видимости.

Жесты записывались одновременно двумя способами:

1. Подводной камерой SwimPro Wallcam с разрешением до 2K и углом обзора 100°.

2. «Умной» перчаткой с эластомерными сенсорами, оснащённой системой распознавания движений и акустическим модемом (24–32 кГц, до 463 бит/с). Перчатка фиксировала сгибание пальцев, ориентацию кисти и передавала команду подводному аппарату (AUV) через акустический канал.

Для визуального распознавания использовались цветные маркеры на перчатке — элементы стандарта CADDIAN (Computer-Aided Diver-Diver/Robot Interaction – «Система компьютерной поддержки взаимодействия водолазов и подводных роботов»), основанного на жестах, принятых в системах PADI и CMAS.

В исследовании были задействованы восемь ключевых жестов: ear problem, out of air, out of breath, danger, general evacuation, OK, reserve, turn (проблема с ухом, закончился воздух, не хватает дыхания, опасность, срочная эвакуация, всё в порядке, резерв воздуха, разворот), а также вспомогательные сигналы — start communication и look at me для начала и окончания передачи команды.

Успешность распознавания жестов на «умной» перчатке достигла 85 %, при этом около 80 % команд корректно дошли по акустическому каналу.

Авторы подчёркивают, что созданный Diver-Robot Communication Dataset станет базой для тестирования и сравнения алгоритмов машинного зрения и подводного ИИ, а также для разработки умных систем связи между водолазами и автономными подводными аппаратами.

Открытый доступ к материалам обеспечен на сайте лаборатории LABUST Университета Загреба: https://labust.fer.hr/labust/research/datasets.

Источник: labust.fer.hr

Комментарии: