VideoMind - это агент для анализа видео, разработанный для точного понимания контента с привязкой ко времени

Основная цель инструмента - обеспечить "temporal-grounded video understanding", то есть способность отвечать на вопросы о видео, точно указывая на конкретные моменты (визуальные доказательства) в видеоряде, что является сложной задачей для стандартных больших языковых моделей.

Как работает:

Внутри использует ролевой агентный подход (role-based agentic workflow), который включает специализированные компоненты (роли), такие как планировщик (planner) для координации, локализатор (grounder) для привязки ко времени, верификатор (verifier) для оценки точности временных интервалов и ответчик (answerer) для формулировки ответа.

Разработчики использовали очень интересную стратегию "Chain-of-LoRA", которая позволяет эффективно переключаться между различными ролями с помощью легковесных адаптеров LoRA (Low-Rank Adaptation) без необходимости загружать несколько отдельных моделей, оптимизируя баланс между гибкостью и вычислительной эффективностью.

Результаты: демонстрирует SOTA производительность на 14 бенчмарках для различных задач понимания видео, включая ответы на вопросы с привязкой ко времени (Grounded VideoQA), временную локализацию событий (VTG) и общие ответы на вопросы по видео (VideoQA).

Github (https://github.com/yeliudev/VideoMind)

Demo (https://huggingface.co/spaces/yeliudev/VideoMind-2B)

Paper (https://arxiv.org/abs/2503.13444)

Dataset (https://huggingface.co/datasets/yeliudev/VideoMind-Dataset)

Checkpoints (https://huggingface.co/collections/yeliudev/videomind-67dd41f42c57f0e7433afb36)

Источник: huggingface.co

Комментарии: