激励视觉语言模型主动检索：面向长视频问答的强化学习框架 · Incentivizing Vision Language Models to Search for Long Video Question Answering

原文摘要 · English Abstract

We introduce VSeek, an agentic framework that transforms long-video question answering (LVQA) from a passive, single-pass perception task into a multi-turn retrieval process. VSeek utilizes a natural language-driven search to identify relevant context within long videos and is post-trained with reinforcement learning (RL) to jointly formulate targeted search queries and reason over retrieved clips for LVQA. While RL post-training has revolutionized reasoning in symbolic domains such as mathematics and code, its application to long-video understanding remains hindered by a lack of verified rewards. To ensure that the retrieved context is relevant, we propose a novel neuro-symbolic approach that bridges open-ended natural language with discrete visual verification. Specifically, complex user queries are compiled into formal temporal logic specifications for systematically decomposing natural language questions into a definitive checklist of required atomic visual primitives, such as key objects and activities, along with their temporal ordering. These systematically derived grounding events provide the critical feedback signal for RL post-training, enabling dense, verifiable rewards based on the successful retrieval of these specific visual elements rather than relying entirely on outcome-only answer accuracy. By explicitly optimizing for this verifiable evidence-seeking behavior, VSeek improves Pass@1 scores by up to 8% on long-video question answering benchmarks.

概要

长视频问答长期依赖对全片均匀采样，稀疏的关键证据很容易被淹没在无关帧里。本文提出 VSeek，把长视频问答改造成一个多轮主动检索过程：VLM 交替进行推理与自然语言检索，逐步拼出与问题相关的视频上下文再作答。为了让检索过程本身可被强化学习优化，作者提出 VETL 神经符号流水线，把问题编译成时序逻辑规格，拆解出必须命中的原子视觉基元，并据此构造密集、可验证的检索奖励，而不是只靠最终答案对错这一种稀疏信号。该设计使 RL 后训练能够直接奖励“找对证据”这件事，而非仅仅奖励“蒙对答案”。

人类看两小时纪录片答题会主动拖动进度条找相关片段，但现有的视频语言模型后训练范式几乎都建立在对长视频均匀采样帧的基础上，这必然会漏掉稀疏的关键时刻并引入无关上下文。已有的检索增强方法要么依赖对逐帧字幕做提示词筛选，要么训练专门的工具调用模型输出精确时间区间，但后者需要大量监督微调来学习格式化指令，且这些流水线普遍只用“结果对不对”的稀疏奖励，无法判断智能体检索到的上下文本身是否覆盖了问题所需的视觉证据。

关键贡献

提出 VSeek，把长视频问答变成主动分解查询、发起定向自然语言检索的多轮发现过程。
提出 VETL 神经符号流水线，把问题编译为基于视频落地基元的可验证时序逻辑规格，弥补了检索质量无法验证的空白。
基于 VETL 设计密集 RL 奖励，对照检索到的视觉基元给出逐步可核验的反馈，超越了仅看最终答案的监督方式。
实验证明优化可验证的证据构建行为能显著提升长时程智能体推理，Pass@1 最高提升约 8%，同时大幅减少所需处理的帧数。
在 GRPO、GSPO、RLOO 三种主流 RL 后训练算法上验证了该奖励机制的普适性。

方法详解（完整做法）

总体思路

VSeek 把长视频问答从“一次性看完固定帧、直接作答”的被动感知任务，改造成一个多轮的序贯检索决策过程：一个 VLM 策略反复在“思考”和“发起检索动作”之间交替，每次检索会从索引好的长视频中取回一小段相关片段并追加进上下文，直至模型认为证据充分给出最终答案。为了让这一过程可以用强化学习直接优化，作者提出 VETL，把自然语言问题编译成时序逻辑规格，拆出必须被检索到的原子视觉基元集合，并以基元是否被命中作为密集奖励信号，联合最终答案的精确匹配奖励一起驱动 GRPO 等算法的后训练。

序贯证据检索的决策过程

给定初始问题 $x$ 与长视频 $V$ ，初始上下文 $c_0=x$ 。第 $j$ 轮里模型先自回归生成思考 token $a^{\text{think}}_j$ ，再给出格式化的检索动作 $a_j$ ，执行后从视频中取回观测片段 $o_j\subset V$ ，上下文随之滚动更新：

$c_j = [c_{j-1}, a^{\text{think}}_j, a_j, o_j]$

轨迹在模型输出 $\texttt{<answer>}$ 时终止，得到完整轨迹 $\tau=(c_0,a^{\text{think}}_1,a_1,o_1,\dots,a^{\text{think}}_J,a_J)$ ，环境据此给出终局精确匹配奖励 $r_J\in\{0,1\}$ （记作 $R_{\text{em}}$ ）。这种把“检索”显式建模成轨迹里的动作、而不是预处理阶段一次性完成的设计，使检索策略本身可以被 RL 直接塑形。

工具集：语义检索、字幕检索与全局摘要

交互前先把长视频切成 8 秒定长片段，用 ViCLIP 的视频编码器 $e_{\text{video}}$ 与文本编码器 $e_{\text{text}}$ 分别嵌入视频片段、语言查询和字幕，并把字幕映射到对应帧窗口。模型可调用的语义检索工具用检索字符串 $\tilde q$ 与所有片段嵌入算余弦相似度，取回相似度最高的 top- $k$ 片段：

$\mathcal{K} = \mathop{\text{Top-}k}_{v_i \in V} \left( \frac{e_{\text{text}}(\tilde q) \cdot e_{\text{video}}(v_i)}{\|e_{\text{text}}(\tilde q)\| \|e_{\text{video}}(v_i)\|} \right)$

字幕检索工具则绕开视觉嵌入，直接用文本相似度在字幕库 $S$ 中找最匹配的一条 $s^*=\arg\max_{s_i\in S}\big(e_{\text{text}}(\tilde q)\cdot e_{\text{text}}(s_i)/(\|e_{\text{text}}(\tilde q)\|\|e_{\text{text}}(s_i)\|)\big)$ ，用于捕捉语义检索容易漏掉的具体台词或专有名词；此外还提供一个「全局摘要」工具，在模型缺乏先验时均匀采样 16 帧给出整体概览。每轮返回的观测统一限制在 16 帧以内，以适配 VLM 的视觉上下文窗口。

VETL：把问题编译成时序逻辑规格

VETL 用一个「生成-裁判」迭代循环把问题 $q$ 与参考答案 $a$ 编译成时序逻辑规格 $\varphi$ ：生成器 LLM 基于原子视觉基元集合 $\mathcal{P}$ （如物体 car、动作 turn-left）提出候选规格，裁判模型依据实体覆盖度和时序忠实度打分并给出结构化反馈，若得分低于阈值 $\kappa=5$ 则回传反馈重新生成，直至通过或达到最大轮数。规格用 $\wedge,\vee,\neg,\rightarrow$ 等逻辑算子和 $\Box$ （始终）、 $\diamondsuit$ （终将）、 $\bigcirc$ （下一步）、 $\mathcal{U}$ （直到）等时序算子表达事件间的依赖关系，本质上是把「回答这个问题需要哪些视觉前提」显式列成一张可核验的清单。

密集奖励：基元检验与奖励合成

规格 $\varphi$ 确定后，用一个确定性视觉检验函数 $D_p(o_t)\in\{0,1\}$ （论文中同样用 ViCLIP 实现）判断某个基元 $p$ 是否出现在某一步观测 $o_t$ 中，密集奖励定义为规格所需的全部基元中被成功检索到的比例：

$R_{\text{VETL}}(\tau;\varphi) = \frac{1}{|\mathcal{P}_{\varphi}|} \sum_{p \in \mathcal{P}_{\varphi}} \max_{1 \le t \le T} D_p(o_t)$

由于智能体的检索顺序并非按问题的时间顺序进行（可能先查后发生的事件），VETL 只用时序算子拆解语义与时序依赖，而奖励计算本身忽略检索先后顺序。最终奖励是精确匹配奖励与 VETL 奖励的加权和：

$R = \lambda_1 R_{\text{em}} + \lambda_2 R_{\text{VETL}}, \qquad \lambda_1=0.7,\ \lambda_2=0.3$

这一设计的关键直觉是：只用最终答案对错训练，模型学不到「为什么这个上下文是对的」，容易走捷径蒙对答案；而把问题拆成可检验的视觉基元清单后，即便最终答案错了，模型只要检索到了部分正确证据也能拿到部分奖励，这比二元结果奖励密得多，也更能塑造「先定位关键事件、再综合作答」的检索行为。

用 GRPO 做 RL 后训练

VSeek 用 GRPO 对策略做后训练：对每个输入 $x$ ，从旧策略 $\pi_{\text{old}}$ 采样一组 $G$ 条轨迹，以组内平均奖励作为相对基线计算优势 $\hat A_{i,t}$ ，再最大化裁剪代理目标并施加 KL 正则：

$J_{\text{GRPO}}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\} \sim \pi_{\text{old}}} \left[ \frac{1}{G} \sum_{i=1}^{G} \frac{\sum_{t: I(y_{i,t})=1} \big( \mathcal{L}_{\text{clip}}(\theta,t) - \beta \mathcal{D}_{\text{KL}}(\theta,t) \big)}{\sum_{t} I(y_{i,t})} \right]$

其中 token 掩码 $I(y_{i,t})$ 专门排除掉从检索工具返回、被模型直接复制进上下文的 token，避免策略梯度错误地奖励「照抄检索结果」而非真正的推理与检索决策。论文同时验证了把 $R_{\text{VETL}}$ 换到 GSPO、RLOO 下训练依然普遍有效，说明该奖励是一种可插拔到不同 RL 算法上的通用信号。

小结

VSeek 的关键不是某个新的检索工具或更大的模型，而是把「问题需要哪些视觉证据」用时序逻辑显式拆解出来，转化成 RL 训练时可核验的密集奖励，从根本上把长视频问答的后训练目标从「蒙对答案」升级为「找对证据、再据此作答」。

实验与关键数据

在 LongVideoBench、MLVU、Video-MME 域内基准和 CGBench-mini、LVBench 域外基准上，用 Pass@1/Pass@4/Majority@4 与平均帧数评测。VSeek-VETL 域内稳定超过 VSeek-EM 与各基线，视频越长优势越明显，仅需约 30 帧。

关键数据

LongVideoBench Pass@1（VSeek-VETL）

60.9%

vs Qwen3-VL-4B-Thinking 51.7%（+9.2）

LongVideoBench Pass@1（VSeek-EM）

60.5%

vs Qwen3-VL-4B-Thinking 51.7%（+8.8）

LongVideoBench 短视频(<1m) Pass@1（VSeek-VETL）

69.6%

vs Qwen3-VL-4B-Thinking 60.9%（+8.7）

LongVideoBench 平均采样帧数（VSeek-VETL）

32.0帧

vs 固定采样基线（Naive RAG等） 64.0帧（-32.0）

Video-MME 平均采样帧数（VSeek-VETL）

31.9帧

vs VideoTree 168.8帧（-136.9）

RL 后训练配置

8×GH200，900步，batch size=32

影响与局限

VSeek 把文本领域 Search-R1 一类“推理-检索”交替范式迁移到长视频问答，并首次把时序逻辑用作 RL 训练时的密集奖励来源而非事后验证工具，为长视频智能体的可验证奖励设计提供了新思路，也为后续融合更强检索器、更丰富时序逻辑族的工作留出了明确的扩展空间。

局限与不足

VETL 奖励在域外基准（CGBench-mini、LVBench）上相对精确匹配奖励出现轻微的 Pass@1 下降，作者将其归因于「专化瓶颈」——学到的检索字符串对域内语料过拟合，训练语料更多样化后有望缓解，但目前尚未验证。VSeek 的检索是严格序贯执行的，可能导致处理顺序与视频时间线不一致，无法像 deep research 类框架那样并行发起多路检索。检索质量本身受限于底层的 ViCLIP 编码器与索引粒度（固定 8 秒片段），论文未探索替换为更强的多模态检索器后的效果。此外，VETL 生成的时序逻辑规格能力也有上限，更复杂的因果与时序依赖需要更表达力强的时序逻辑族才能刻画，这些都留待未来工作。