Vgent：面向长视频理解的基于图的检索-推理增强生成框架 · Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding

原文摘要 · English Abstract

Understanding and reasoning over long videos pose significant challenges for large video language models (LVLMs) due to the difficulty in processing intensive video tokens beyond context window and retaining long-term sequential information. Retrieval-Augmented Generation (RAG) has demonstrated effectiveness in processing long context for Large Language Models (LLMs); however, applying RAG to long video faces challenges such as disrupted temporal dependencies and inclusion of irrelevant information that can hinder accurate reasoning. To address these limitations, we propose Vgent, a novel graph-based retrieval-reasoning-augmented generation framework to enhance LVLMs for long video understanding. Our approach introduces two key innovations: (i) It represents videos by structured graphs with semantic relationships across video clips preserved to improve retrieval effectiveness. (ii) It introduces an intermediate reasoning step to mitigate the reasoning limitation of LVLMs, which leverages structured verification to reduce retrieval noise and facilitate the explicit aggregation of relevant information across clips, resulting in more accurate and context-aware responses. We comprehensively evaluate our framework with various open-source LVLMs on three long-video understanding benchmarks. Our approach yielded an overall performance improvement of 3.0% ∼ 5.4% over base models on MLVU, and outperformed state-of-the-art video RAG methods by 8.6%. Our code is publicly available at https://xiaoqian-shen.github.io/Vgent.

概要

长视频动辄超过 20 万 token，超出 LVLM 上下文，稀疏采样又会丢细节，于是流行用检索增强生成（RAG）先取回相关片段再回答。但 RAG 搬到视频上有两个坑：按片段独立检索切断了实体与时间依赖，检索不准；取回的片段混进语义相似却无关的「难负样本」，反而把模型带偏。本文提出免训练的 Vgent：离线用 LVLM 抽出片段里的实体，把共享实体的片段连成一张与查询无关的视频图，按关键词命中实体检索 Top-N，再用结构化子问题逐片段核验，滤掉难负样本并聚合信息后作答。

长视频的根本矛盾是 token 量：30 分钟就超过 20 万 token，超出多数模型上下文。已有对策要么稀疏采样，要么做 token 池化、压缩或记忆聚合，都会损失细粒度时序信息。RAG 路线里，Goldfish 一类把长视频切成短片段各当一篇文档检索，切断了实体与时间的连续性；VideoAgent、DrVideo 等 agent 方法靠专有 LLM 多轮规划，成本高又不可控。为长视频建图并从中有效检索仍是空白。

关键贡献

提出 Vgent，一个基于图的检索-推理增强生成框架，把视频片段建模为图中的节点、用共享实体连边，从而在检索时保留跨片段的语义关系与时间依赖，且完全不依赖专有闭源 API。
提出结构化推理（Structured Reasoning）步骤：用分解出的二元或数值子问题逐片段核验相关性，显式过滤掉难负样本，并跨片段聚合信息作为中间推理上下文，缓解 LVLM 被无关片段干扰的问题。
图构建是离线且与查询无关的，建好后可在同一视频的多个问题上复用，无需为每个问题重看整段视频；多问题场景下相比查询相关的 Video-RAG 取得 1.73 倍加速。
在 MLVU、Video-MME、LongVideoBench 三个长视频基准上，跨 InternVL2.5、Qwen2、Qwen2.5-VL、LongVU、LLaVA-Video 共七种 2B~7B 开源 LVLM 做了一致性验证，MLVU 上普遍提升 3.0%~5.4%。
与 Video-RAG 等视频 RAG 方法正面对比，在同一基座模型上领先最多 8.6%，并超过 VideoAgent、LLoVi、DrVideo 等依赖 GPT-4 的专有方法，说明自包含流水线也能胜过 API 方案。
给出检索片段数 r 的消融，显示多片段推理类任务（Count、Order）对 r 格外敏感，r=5 时整体最优，r 继续增大反而回落。

方法详解（完整做法）

总体思路

Vgent 是一条免训练的流水线，把「图检索」和「检索后结构化推理」串成四段：先离线建图，再在线检索、核验、生成。离线时把长视频按每 64 帧切成片段，用 LVLM 从每个片段及其字幕里抽出语义实体（主体、动作、场景），把共享同一实体的片段用边连起来，得到一张与查询无关的视频知识图。在线时先从问题里抽关键词，在图上命中匹配的实体节点、按相似度重排后取 Top-N 片段；接着用结构化子问题逐片段核验，把语义相似但实际无关的难负样本剔掉，并把核验结果聚合成中间推理上下文；最后把这份上下文与保留下来的片段一起作为多模态输入交给同一个 LVLM 生成答案。全程只用开源 LVLM，不调用任何专有 API。

视频图构建与实体抽取

给定 $F$ 帧的视频 $V$ ，先切成 $\lceil F/K \rceil$ 个各含 $K$ 帧的片段 $\{V_1,\dots,V_{\lceil F/K\rceil}\}$ 。对每个片段，用 LVLM 联合字幕 $C_i$ 与画面 $V_i$ 抽出一组实体及其描述：

$\{(e_1^i,t_1^i),(e_2^i,t_2^i),\dots\}\leftarrow \texttt{LVLM}\,(C_i,V_i)$

其中 $E_i=\{e_i^1,e_i^2,\dots\}$ 是实体集合、 $T_i=\{t_i^1,t_i^2,\dots\}$ 是对应描述集合。把字幕和画面一起送进去是关键：实体既可能只在对话里被提到（比如「烤面包机」），也可能只在画面里出现，两条通道合起来才能覆盖完整语义。

实体合并与全局原型集

片段是各自独立处理的，同一实体在不同片段里的措辞往往不同（「the man」与「the guy」），必须先对齐。做法是维护一个跨全部节点的全局实体原型集 $\mathcal{U}$ ，新抽出的实体描述 $t_j^i$ 与 $\mathcal{U}$ 中每个原型描述 $t^u$ 算文本相似度，超过阈值 $\tau$ 就并入已有原型，否则作为新原型加入：

$u^*=\arg\max_{u\in\mathcal{U}} \operatorname{sim}(t_j^i,t^u),\qquad e_j^i\to\begin{cases}u^*,& s^*\geq\tau\\[2pt] \mathcal{U}\leftarrow\mathcal{U}\cup\{e_j^i\},& \text{否则}\end{cases}$

这一步是整张图能否复用的前提：只有实体被统一成原型，跨片段的关系才可能被后续检索命中。

共享实体连边：时间依赖的载体

实体一旦并入原型 $u^*$ ，就把当前片段节点 $v_i$ 与图中所有含该原型的节点 $\mathcal{V}^{(u^*)}$ 连边，图 $\mathcal{G}=(\mathcal{V},\mathcal{E})$ 随片段不断处理而增量生长：

$\mathcal{E}\leftarrow\mathcal{E}\cup\{(v_i,v)\mid v\in\mathcal{V}^{(u^*)}\}$

边不是时间上的相邻关系，而是「语义同源」关系。因此相隔半小时、但从头到尾都在出现的同一个人或同一件物品，会把散落各处的片段串成一条可追溯的链——这正是一刀切片段式检索丢掉的那部分信息。

基于关键词的图检索

直接用原始问题检索往往不够，因为跨片段推理类问题（计数、排序）的措辞里并不出现画面中的实体名。所以先用 LVLM 从问题 $Q$ 抽关键词集合 $\mathcal{K}$ ，再对每个关键词与每个原型算相似度，超过阈值 $\theta$ 就把它名下的所有节点收进候选集：

$\mathcal{R}=\bigcup_{u\in\mathcal{U},\,k\in\mathcal{K}}\{v\in\mathcal{V}\mid u\in\mathcal{U}(v),\ \operatorname{sim}(k,t^u)>\theta\}$

得到 $\mathcal{R}$ 后再按关键词与节点全部信息（实体、描述、字幕）的平均相似度重排，保留 Top- $N$ 个片段。检索落在「原型」这一层而不是片段文本层，等于给查询加了一层语义抽象，同义改写的鲁棒性因此更好。

结构化推理：用子问题核验检索结果

检索只保证语义相似，不保证与问题相关。论文的实证分析发现，直接喂入全部检索片段会造成信息过载，关键细节被无关内容稀释。为此在生成前插入一步核验：让 LVLM 依据原问题和关键词生成一组结构化子问题 $\mathcal{Q}$ ，每个子问题的答案被约束成「是/否」或一个数值，再逐片段作答；只要有一个子问题答非零（是记为 1、否记为 0）就保留该片段：

$\mathcal{R}'=\{v_i\in\mathcal{R}\mid\exists q_j\in\mathcal{Q},\ f(v_i,q_j)>0\}$

其中 $f(v_i,q_j)$ 是片段 $v_i$ 对子问题 $q_j$ 的回答，精炼后最多保留 $r$ 个片段。之所以用二元/数值问题而不让模型直接自由作答，是因为前者几乎不产生幻觉空间，模型的判断被压缩成一次可验证的判读，难负样本（语义相近但事实不符）在这一步被成批剔掉。

信息聚合与多模态增强生成

过滤之后还差一步：单看每个片段只能得到零散事实，跨片段的时序推理仍然做不了。于是再让 LVLM 把每个保留下来的片段及其结构化问答结果汇总成一段中间推理上下文，例如「盘子先在洗碗池、随后出现在橱柜」，再与精炼后的片段一起送入 LVLM 生成最终答案。中间文本给出的是显式聚合与推理链，视频片段提供的是可核验的视觉证据，两者互补；对计数与排序这类必须跨片段比对的任务，收益最明显。

小结

关键不在于图本身有多复杂，而在于把「谁和谁相关」的判断从一次模糊的向量相似度，拆成了图上可复用的实体连接加上一次二元的片段核验——前者保住时间依赖，后者砍掉难负样本。

实验与关键数据

在 MLVU、Video-MME、LongVideoBench 三个长视频基准上评测，基座覆盖 InternVL2.5、Qwen2-VL、Qwen2.5-VL、LongVU、LLaVA-Video 等七种 2B~7B 开源 LVLM，对比 NaïveRAG 与 Video-RAG。各基座一致提升。

关键数据

MLVU 整体准确率（LongVU 7B）

70.8

vs LongVU 65.4（+5.4）

MLVU 整体准确率（Qwen2.5-VL 7B）

72.1

vs Qwen2.5-VL 68.8（+3.3）

Video-MME 带字幕（Qwen2.5-VL 7B）

74.3

vs Qwen2.5-VL 71.1（+3.2）

Video-MME 带字幕（对 Video-RAG）

74.3

vs Video-RAG 65.7（+8.6）

LongVideoBench（Qwen2.5-VL 7B）

59.7

vs Qwen2.5-VL 56.0（+3.7）

MLVU 整体准确率（消融 r=5）

72.1

vs r=1 63.2（+8.9）

影响与局限

长视频理解此前主要靠「稀疏采样 + 长上下文模型」或「agent 式反复调工具」两条路，前者丢信息，后者依赖 GPT-4 之类闭源 API，昂贵且难部署。Vgent 把图检索与检索后核验都放进开源 LVLM 自身的回路，证明不靠外部检测器或专有模型也能拿到更好结果，为自包含视频 RAG 提供了可复现的基线。

局限与不足

论文的局限有几处值得注意。第一，整条流水线的每个环节（实体抽取、合并、子问题生成与作答、信息聚合）都依赖同一个 LVLM 的提示词输出，误差会沿链条累积：实体抽取错了会污染图，子问题生成偏了会误删正确片段，而论文没有给出各环节的失败率分解，也没有说明抽取质量对最终指标的影响有多大。第二，实体合并用固定阈值 τ=0.7，检索阈值 θ=0.5，这些超参在三个基准上被设成同一组值，作者称组合敏感度放在附录，但正文没有展示跨基准的稳定性证据，换域数据上是否仍适用存疑。第三，离线建图本身并不便宜——论文报的是每分钟视频 20.13 秒，对小时级视频仍是不可忽略的一次性开销，论文只强调了多问题场景下的复用收益。第四，评测仅覆盖 MLVU、Video-MME、LongVideoBench 三个基准和 2B~7B 的开源基座，更大规模基座或需要纯视觉细粒度推理（如密集时序定位）的任务上没有验证。第五，结构化子问题的数量与质量直接影响召回，若问题本身超出关键词可覆盖的范围（例如需要理解镜头语言或情绪），核验步骤可能把正确片段一并滤除，论文对此类假阴性没有分析。