АвтоВидео: Автоматизированная Система Распознавания Видеодействий

AutoVideo-это система для автоматического анализа видео. Он разработан на основе инфраструктуры D3M, которая описывает машинное обучение с использованием универсальных конвейерных языков. В настоящее время он фокусируется на распознавании видеодействий, поддерживая различные современные алгоритмы распознавания видеодействий. Он также поддерживает автоматический выбор модели и настройку гиперпараметров. АвтоВидео разработано Лабораторией ДАННЫХ Университета Райса.

Paper: https://arxiv.org/abs/2108.04212
Tutorial: [Towards Data Science] AutoVideo: An Automated Video Action Recognition System
Related Project: TODS: Automated Time-series Outlier Detection System

Существуют и другие библиотеки видеоанализа, но эта разработана с высокой степенью модульности. AutoVideo легко расширяется благодаря языку конвейера, где каждая модель упакована в виде примитива с некоторыми гиперпараметрами. Это позволяет нам легко поддерживать другие алгоритмы для других задач анализа видео, которые будут нашими будущими усилиями. Также удобно осуществлять поиск моделей и гиперпараметров с помощью языка конвейера.There are some other video analysis libraries out there, but this one is designed to be highly modular. AutoVideo is highly extendible thanks to the pipeline language, where each model is wrapped as a primitive with some hyperparameters. This allows us to easily support other algorithms for other video analysis tasks, which will be our future efforts. It is also convenient to search models and hyperparameters with the pipeline language.

Обзор библиотеки показан ниже. Каждый модуль в AutoVideo упакован в виде примитива с некоторыми гиперпараметрами. Конвейер состоит из ряда примитивов от предварительной обработки до распознавания действий. AutoVideo оснащен тюнерами для поиска моделей и гиперпараметров. Мы приветствуем вклад в обогащение АвтоВидео большим количеством примитивов. Вы можете найти инструкции в Руководстве по вкладу.

Процитируйте эту работу

Если вы сочтете это репо полезным, вы можете процитировать:

Чжа, Даочен и др. "АвтоВидео: Автоматизированная Система Распознавания Видео Действий". Препринт arXiv arXiv:2108.0421 (2021).

@article{zha2021autovideo,   title={AutoVideo: An Automated Video Action Recognition System},   author={Zha, Daochen and Bhat, Zaid and Chen, Yi-Wei and Wang, Yicheng and Ding, Sirui and Jain, Anmoll and Bhat, Mohammad and Lai, Kwei-Herng and Chen, Jiaben and Zou, Na and Hu, Xia},   journal={arXiv preprint arXiv:2108.04212},   year={2021} }

Установка

Убедитесь, что у вас установлены Python 3.6 и pip. В настоящее время код тестируется только в системе Linux. Во-первых, установите torch и torchvision с

pip3 install torch pip3 install torchvision

Чтобы использовать автоматический поиск, вам необходимо установить ray-tune и hyperopt сTo use the automated searching, you need to install ray-tune and hyperopt with

pip3 install 'ray[tune]' hyperopt

Мы рекомендуем установить стабильную версию autovideo с помощью pip::

pip3 install autovideo

Кроме того, вы можете клонировать последнюю версию с помощью

git clone https://github.com/datamllab/autovideo.git

Затем установите с помощью

cd autovideo pip3 install -e .

Затем установите с игрушечными примерами

Чтобы попробовать примеры, вы можете загрузить набор данных hmdb6, который является подмножеством hmdb51 только с 6 классами. Все наборы данных можно загрузить с Google Диска. Затем вы можете распаковать набор данных и поместить его в наборы данных.

Установка и сохранение трубопровода

python3 examples/fit.py