VimRAG: мультимодальный RAG-агент, который держит контекст в виде графа памяти

Tongyi Lab (Alibaba Group) опубликовала VimRAG (https://github.com/Alibaba-NLP/VRAG) - фреймворк агентного RAG для работы с текстом, изображениями и видео.

Проект развивает прошлогодний VRAG-RL (https://arxiv.org/pdf/2505.22019) и решает проблему мультимодального RAG: визуальные данные тяжелые по токенам, но семантически разрежены, а классическая ReAct-история забивает контекст шумом и провоцирует повторные бесполезные запросы к поиску.

Вместо журнала наблюдений VimRAG моделирует рассуждение как динамический направленный ацикличный граф. Каждая вершина хранит подзапрос, действие агента, текстовое саммари и банк визуальных токенов.

Ребра фиксируют логические зависимости между шагами. Такой граф позволяет агенту отличать тупиковую ветку от новой гипотезы и не уходить в циклы повторных поисков.

Поверх графа работает Graph-Modulated Visual Memory Encoding.

Бюджет визуальных токенов распределяется с учетом исходящей степени в графе, экспоненциального временного затухания (имитация забывания) и рекурсивной обратной связи от потомков.

Ключевым фрагментам достается высокое разрешение, а второстепенные кадры сжимаются или отбрасываются. Для видео задействована способность VLM привязывать содержимое к временной шкале (извлечение ключевых кадров по таймкодам).

Третий компонент - Graph-GPO.

GGPO строит критический путь от корня к ответу и накладывает градиентную маску, исключая тупиковые узлы из положительных примеров, а ценные ретривы - из отрицательных.

По графикам обучения это дает более быструю сходимость, чем базовый GSPO без прунинга.

Тесты

VimRAG обходит Vanilla RAG, ReAct, VideoRAG, UniversalRAG, MemAgent и Mem1 на 9 бенчмарках (HotpotQA и SQuAD до SlideVQA, MMLongBench, LVBench и XVBench).

На Qwen3-VL-8B-Instruct средний скор поднимается с 43,6 до 50,1, на 4B-версии - с 40,6 до 45,2.

При этом средняя длина траектории ниже, чем у ReAct и Mem1: структурированная память съедает меньше действий на ответ.

В репозитории (https://github.com/Alibaba-NLP/VRAG) доступны:

тренировочный фреймворк VRAG-RL, демо VRAG на тестовой Qwen2.5-VL-7B-VRAG (https://huggingface.co/Qiuchen-Wang/Qwen2.5-VL-7B-VRAG) через vLLM (нужна A100 80GB);

демо на API Qwen3.5-Plus через DashScope (с визуализацией DAG рассуждения и расширенным ризонингом).

Поисковый движок построен на FAISS и поддерживает эмбеддинги GVE-3B/7B и Qwen3-VL-Embedding-2B/8B. Индексировать можно изображения, PDF (через конвертацию) и нарезанное на чанки видео.

Код трейна самого VimRAG обещают выложить после внутреннего ревью Alibaba.

Arxiv (https://arxiv.org/pdf/2602.12735)

Модель (https://huggingface.co/Qiuchen-Wang/Qwen2.5-VL-7B-VRAG)

GitHub (https://github.com/Alibaba-NLP/VRAG)

Телеграм: t.me/ainewsline

Источник: github.com

Комментарии: