Система захвата движения с определением позы и отслеживанием объектов

Я хочу поделиться проектом, над которым я работаю и который объединяет компьютерное зрение и Unity для создания доступной системы захвата движений. В частности, он ориентирован на захват движений человека и отслеживание мяча для спорта/игр.

Что она делает:

Определяет 33 ключевые точки тела с помощью OpenCV и cvzone Отслеживает мяч с помощью обнаружения объектов YOLOv8 Экспортирует нормализованные координатные данные в текстовый файл Рендерит скелет и анимацию мяча в Unity Работает как с видео в реальном времени, так и с заранее записанным материалом Сложный момент: разрывы кадров и интерполяция Когда детектор мяча пропускает обнаружение, он возвращается в (0,0,0), вызывая уродливый джиттер. Я решил эту проблему с помощью двухпроходной интерполяции NumPy:

Проход 1: Запись всех обнаруженных положений мяча на видео Проход 2: Заполнение недостающих кадров путем линейной интерполяции между достоверными обнаружениями Теперь анимация мяча в Unity протекает плавно, даже при несовершенном обнаружении CV.

Код:

Весь код доступен на GitHub: https://github.com/donsolo-khalifa/FootballKeyPointsExtraction Что вы думаете? Есть предложения по улучшению или интересные приложения, о которых я еще не подумал?

https://www.reddit.com/r/Unity3D/comments/1l68zso/motion_capture_system_with_pose_detection_and/

У нас появился телеграм канал с инди играми!

t.me/indie_ag

Источник: www.reddit.com

Комментарии: