Video-KTR：基于关键token归因的视频推理强化学习 · Video-KTR: Reinforcing Video Reasoning via Key Token Attribution

原文摘要 · English Abstract

Reinforcement learning (RL) has shown strong potential for enhancing reasoning in multimodal large language models, yet existing video reasoning methods often rely on coarse sequence-level rewards or single-factor token selection, neglecting fine-grained links among visual inputs, temporal dynamics, and linguistic outputs, limiting both accuracy and interpretability. We propose Video-KTR, a modality-aware policy shaping framework that performs selective, token-level RL by combining three attribution signals: (1) visual-aware tokens identified via counterfactual masking to reveal perceptual dependence; (2) temporal-aware tokens detected through frame shuffling to expose temporal sensitivity; and (3) high-entropy tokens signaling predictive uncertainty. By reinforcing only these key tokens, Video-KTR focuses learning on semantically informative, modality-sensitive content while filtering out low-value tokens. Across five challenging benchmarks, Video-KTR achieves state-of-the-art or highly competitive results, achieving 42.7% on Video-Holmes (surpassing GPT-4o) with consistent gains on both reasoning and general video understanding tasks. Ablation studies verify the complementary roles of the attribution signals and the robustness of targeted token-level updates. Overall, Video-KTR improves accuracy and interpretability, offering a simple, drop-in extension to RL for complex video reasoning. Our code and models are available at https://github.com/zywang0104/Video-KTR.

概要

现有视频推理强化学习方法要么用粗粒度的整句奖励，要么只靠预测熵做单一token选择，没能精确对应“视觉证据—时序结构—语言输出”之间的细粒度依赖，导致训练信号被大量无关token稀释、可解释性差。Video-KTR 提出模态感知的策略塑形框架：用反事实视觉遮蔽、帧序打乱、预测熵三路互补信号给每个生成token打分，取三者排名靠前token的并集作为“关键token”，只在这些位置上做GRPO式策略梯度更新，在多个视频推理与理解基准上取得SOTA或强竞争力的结果。

此前的视频推理RL方法大多直接套用图像RL的GRPO式整句奖励，难以捕捉时序动态；部分工作（如T-GRPO）通过对比正常帧序与打乱帧序下的整体预测差异注入时序先验，但只在序列层面统一惩罚，忽视了并非所有样本都依赖时序线索，容易引入无关噪声；基于熵的token级RL虽做到了token粒度，却不区分视觉、时序等模态依赖，仍可能让模型过度依赖语言先验、产生幻觉，且归因与可解释性有限。

关键贡献

首次将反事实视觉遮蔽、帧序打乱与预测熵三种互补的token归因信号统一引入视频推理强化学习框架。
提出按token级并集掩码对GRPO目标做选择性更新，使梯度只流向语义关键的token而非全部序列。
在Video-Holmes等五个具有挑战性的视频推理与理解基准上取得SOTA或极具竞争力的结果。
通过多组消融实验证明三类归因信号彼此互补，联合使用始终优于任一单一信号或两两组合。
对选中与未选中token的词性和词云分析表明方法能有效过滤虚词、保留语义丰富的推理线索。
验证了简单的对数概率差异比L1/L2范数、KL/JS散度、余弦相似度等更复杂的分布距离度量更稳健高效。

方法详解（完整做法）

总体思路

Video-KTR 面向视频推理强化学习，针对现有方法只用粗粒度的序列级奖励或单一熵选择、忽略视觉-时序-语言之间细粒度对应关系的问题，提出一个“模态感知的策略塑形”框架：先用三类归因信号——反事实掩码得到的视觉敏感token、帧序打乱得到的时序敏感token、以及预测熵衡量的不确定token——分别给模型生成的每个token打分；再取三者各自排名靠前token的并集作为“关键token”，只在这些位置上计算GRPO的策略梯度，其余多为虚词的token被掩掉不参与更新，从而让强化学习的监督信号集中在真正依赖视觉和时序证据的推理步骤上。

视觉敏感token归因：反事实掩码

给定视频 $\mathbf{v}$ 与文本提示 $\mathbf{t}$ ，模型自回归生成响应 $\hat{y}=(y_1,\dots,y_T)$ 。对每个位置 $i$ ，分别用原始视频和被置零的视频（遮盖视觉输入）各跑一次前向，取同一个目标token在两种情形下的logit：

$\mathbf{z}_i^{\text{visible}} = f_\theta(y_i \mid y_{<i}, \mathbf{v}, \mathbf{t}), \quad \mathbf{z}_i^{\text{masked}} = f_\theta(y_i \mid y_{<i}, \tilde{\mathbf{v}}, \mathbf{t})$

再比较两者经过softmax后对数概率的绝对差值，差值越大说明该token的预测越依赖视觉输入：

$\Delta^{\text{vis}}_i = \left| \log\operatorname{softmax}(\mathbf{z}_i^{\text{visible}})_{y_i} - \log\operatorname{softmax}(\mathbf{z}_i^{\text{masked}})_{y_i} \right|$

论文给出的例子是“person”“door”“blue”这类具体名词往往有较高的 $\Delta^{\text{vis}}_i$ ，训练中会被优先强化以巩固感知落地能力。

时序敏感token归因：帧序打乱

时序线索无法靠遮挡视觉来检测——打乱帧序后视觉内容仍在，只是顺序被破坏。作者把掩码换成“帧序随机打乱”，同样比较打乱前后同一token的logit：

$\mathbf{z}_i^{\text{ordered}} = f_\theta(y_i \mid y_{<i}, \mathbf{v}, \mathbf{t}), \quad \mathbf{z}_i^{\text{shuffled}} = f_\theta(y_i \mid y_{<i}, \hat{\mathbf{v}}, \mathbf{t})$

$\Delta^{\text{temp}}_i = \left| \log\operatorname{softmax}(\mathbf{z}_i^{\text{ordered}})_{y_i} - \log\operatorname{softmax}(\mathbf{z}_i^{\text{shuffled}})_{y_i} \right|$

“first”“then”“appear”这类表达事件先后的词通常有高 $\Delta^{\text{temp}}_i$ ，这与T-GRPO对整句统一施加乱序惩罚不同——这里的粒度精确到单个token。

熵敏感token：预测不确定性

视觉和时序归因只覆盖模态相关的依赖，有些推理关键词（如转折词“however”“wait”）跟画面或时序都没有直接关系，而是标记了论证的转折点。为此作者引入标准的预测熵作为第三路信号：

$\mathcal{H}(i) = -\sum_{w} p(z_i = w) \log p(z_i = w)$

熵越高说明模型对这个位置下一个token越不确定，往往对应话语中的决策点或语义歧义点，作为前两路信号之外的补充。

关键token选择与带掩码的GRPO目标

三路信号各自独立地对所有位置排序，分别取比例为 $r\%$ 的最高分token集合 $\mathcal{S}_{\text{vis}}$ 、 $\mathcal{S}_{\text{temp}}$ 、 $\mathcal{S}_{\text{ent}}$ ，取并集得到关键token集合 $\mathcal{S}=\mathcal{S}_{\text{vis}}\cup\mathcal{S}_{\text{temp}}\cup\mathcal{S}_{\text{ent}}$ 。在标准GRPO目标基础上，引入0/1掩码 $m_{i,t}$ ，只在 $m_{i,t}=1$ （即该token属于 $\mathcal{S}$ ）的位置计入PPO式裁剪损失：

$\mathcal{J}_{\text{Video-KTR}}(\theta)=\mathbb{E}_{q,\{o_i\}}\Bigg[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|} m_{i,t}\cdot\min\Big(r_{i,t}\hat{A}_{i,t},\ \mathrm{clip}(r_{i,t},1-\epsilon,1+\epsilon)\hat{A}_{i,t}\Big)\Bigg]$

其中 $r_{i,t}=\frac{\pi_\theta(o_{i,t}\mid q,o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}\mid q,o_{i,<t})}$ 是token级重要性采样比， $\hat{A}_{i,t}$ 是按组归一化奖励得到的优势估计，两者与标准GRPO一致，变化只在于额外乘上的掩码项。

为什么要按token筛选而不是整句统一处理

GRPO原本对一条回复里的所有token一视同仁地分配优势，在长视频推理的长回复里，这会把“真正体现视觉/时序推理”的少数token和大量虚词（冠词、介词、标点）混在一起平均，信号被稀释；T-GRPO式的整句乱序惩罚又太粗，会误伤那些本来靠静态画面就能回答、并不涉及时序推理的样本，引入额外的优化噪声。按token筛选把监督力度精确分配到真正承载推理证据的位置，既保留了GRPO原有的训练稳定性，又提升了样本利用效率——这正是本文相对此前工作最核心的设计差异。

小结

Video-KTR 的关键是把“反事实视觉遮蔽+帧序打乱+预测熵”三路归因信号统一成一个token级并集掩码，嵌入到GRPO目标里做选择性策略更新，用最小的改动把序列级RL变成可解释的token级RL。

实验与关键数据

训练基于Qwen2.5-VL-7B与Video-R1-SFT检查点，在难度过滤后约15K条Video-R1数据和1.5K条Video-Holmes数据上做RL；在三个推理基准与两个通用理解基准上对比多个基线，Video-KTR全面取得SOTA或强竞争力结果。

关键数据

Video-Holmes 总体准确率

42.7%

vs GPT-4o 42.0%（+0.7）

RL训练数据规模

难度过滤后约15K条（来自Video-R1原始260K条）

补充训练数据

另加入1.5K条Video-Holmes训练样本

关键token更新比例消融（RQ6）

约20%比例时准确率最佳（双峰曲线）

影响与局限

Video-KTR 延续了GRPO在多模态推理强化学习中的主线，把此前T-GRPO等工作停留在“整句级时序约束”或“纯熵选择”的token筛选方法，推进到“模态感知+多信号融合”的细粒度归因，为后续视频RL方法在token级credit assignment上的设计提供了可直接复用的框架性参照。

局限与不足

论文公开的实验结果主要以表格呈现具体数值对比，正文叙述中给出的可验证数字有限（如Video-Holmes总体准确率42.7%对比GPT-4o的42.0%），其余基准和消融实验的细粒度数字需查阅原文表格。方法本身依赖对每个候选位置额外跑一次“遮盖视觉”前向和一次“打乱帧序”前向来计算归因分数，相当于训练时每一步比标准GRPO多出近两倍的前向计算量，在长视频、长回复场景下会显著增加RL训练的计算与显存开销。top-r%并集阈值、KL系数等超参是在特定骨干（Qwen2.5-VL-7B，16帧训练/64帧推理）和特定数据规模下调出的，换更大模型、更长视频或更高帧率时是否需要重新调参，论文未给出充分验证。此外三路信号的归因依据都是logit偏移量这一代理指标，衡量的是模型预测对扰动的“敏感度”，而非严格意义上的因果重要性，可能与人类认定的关键证据存在偏差。