SkillMimic: Обучение человекоподобного объекта навыкам по их демонстрации на примере баскетбола

SkillMimic - метод моделирования симуляции поведения 3D-объекта или физического человекоподобного робота для изучения различных баскетбольных навыков на примерах демонстрации этих навыков людьми.

Основная техника метода заключается в обучении движениям человека используя данные Human-Object Interaction (HOI). Обучаемый объект взаимодействует с окружающей средой на основе прогнозов действий, определяемых политикой и руководствуясь единым вознаграждением за имитацию HOI.

Функция вознаграждения состоит из двух компонентов:

Contact Graph Reward, система оценки контакта объекта с предметом (мячом). вычисляется как экспонента от суммы взвешенных ошибок между смоделированным и эталонным (HOI) графом контактов.

Kinematic rewards,, совокупность оценок за имитацию движений объекта (позиции, повороты, скорости), рассчитываемые методом среднеквадратичной ошибки и отрицательной экспоненциальной нормализации между эталоном (HOI) и движением объекта.

В результате обеспечивается точная имитация движений с мячом с предотвращением локальных оптимумов.

Приобретенные навыки могут быть повторно использованы, объединены и комбинированы целевым объектом для выполнения сложных задач с помощью высокоуровневого контроллера.

SkillMimic позволяет отказаться от традиционного трудоемкого планирования вознаграждений и вместо этого использовать данные HOI для определения и изучения навыков.

Программная интерпретация SkillMimic позволяет обучаться различным баскетбольным навыкам: бросок, подбор, бросок с разворота.

После приобретения этих навыков их можно комбинировать для выполнения сложных задач: непрерывный набор очков, дриблинг в сторону корзины, тайминг дриблинга и броска, поиск отскока и повторение всего процесса.

Предобученные модели находятся в репозитории в директории /data/models/

Установка с использованием среды Issac Gym: (https://developer.nvidia.com/isaac-gym/download)

  
 # Create venv  
 
 conda create -n skillmimic python=3.8 
 
 conda activate skillmimic 
 
 pip install -r requirements.txt 
 
 # Install the Issac Gym 
 
 tar -xzvf /{your_source_dir}/IsaacGym_Preview_4_Package.tar.gz -C /{your_target_dir}/ 
 
 cd /{your_target_dir}/isaacgym/python/ 
 
 pip install -e .

Инференс с использованием политики:

  
 python skillmimic/run.py —test —task SkillMimicBallPlay —num_envs 16  
 
 --cfg_env skillmimic/data/cfg/skillmimic.yaml  
 
 --motion_file skillmimic/data/motions/BallPlay-M/layup  
 
 --checkpoint skillmimic/data/models/mixedskills/nn/skillmimic_llc.pth 
 
 # Transform the images into a video 
 
 python skillmimic/utils/make_video.py —image_path skillmimic/data/images/test_images —fps 60

Лицензирование : Apache 2.0 License.

Страница проекта (https://ingrid789.github.io/SkillMimic/)

Набор моделей (https://github.com/wyhuai/SkillMimic/tree/main/skillmimic/data/models)

Arxiv (https://arxiv.org/pdf/2408.15270v1)

Demo Video (https://www.youtube.com/watch?v=j1smsXilUGM)

Github (https://github.com/wyhuai/SkillMimic) [ Stars: 38 | Issues: 0 | Forks: 1]

Источник: github.com

Комментарии: