Reflect-R1：面向长视频理解的证据驱动反思自纠错框架 · Reflect-R1: Evidence-Driven Reflection for Self-Correction in Long Video Understanding

原文摘要 · English Abstract

Current multimodal reflection mechanisms for long video understanding predominantly rely on closed-loop self-reflection within internal parameters. Lacking objective external evidence, models are frequently trapped in blind confidence and often fail to correct errors. Furthermore, applying reinforcement learning to multi-stage reflection pipelines introduces severe policy coupling, which is exacerbated by a critical scarcity of dedicated training data. To address these limitations, this work proposes Reflect-R1, the first Evidence-Driven self-correction framework for long video understanding. The framework constructs a three-stage pipeline consisting of intuition, verification, and arbitration. By dynamically retrieving objective visual evidence to verify initial intuitions and autonomously executing multiple temporal searches to resolve conflicts, it completely breaks the hallucination loop. To overcome policy coupling, we design a stage-decoupled reinforcement learning algorithm named SD-GRPO that independently computes advantage functions across different reasoning stages. Concurrently, we construct a dataset of 120K samples to bridge the training data gap. Extensive experiments on benchmarks such as VideoMME and LongVideoBench demonstrate that Reflect-R1 achieves state-of-the-art performance. Our method significantly improves the genuine rectification rate and enables authentic self-correction strictly grounded in objective evidence.

概要

长视频多模态大模型做自我反思时普遍依赖纯内部参数的闭环自省：没有外部证据支撑，模型常常陷入「盲目自信」，甚至把错误答案越改越错。本文提出 Reflect-R1，把反思拆成直觉、独立验证、仲裁三个阶段，强制验证阶段只能依赖主动检索到的关键帧、与全局视频和初始答案信息隔离，从而获得客观证据再做仲裁。为了让多阶段流程能用强化学习训练而不互相坍塌，作者设计了阶段解耦的 SD-GRPO 算法，并构建 12 万条专用数据，让反思真正提升准确率而非随机改判。

Vision-R1、VL-Rethinker、Video-R1 等用 RL 驱动的长链式思维做多模态反思，让模型生成初始答案后自我审视修正，但反思完全在内部参数空间闭环进行。长视频信息密度高、时间跨度大，初始直觉一旦因缺帧出错，模型缺乏外部证据锚点时会用内部幻觉强行佐证初始猜测，反思退化为随机改判。直接端到端训练三阶段还会让策略学会走捷径：仲裁阶段照抄初始答案骗取奖励，数据稀缺进一步加剧瓶颈。

关键贡献

首次提出面向长视频理解的证据驱动自我纠错框架 Reflect-R1，把反思拆解为直觉-验证-仲裁三阶段流水线
设计分阶段解耦的强化学习算法 SD-GRPO，通过组内独立归一化优势函数打破多阶段训练中的策略耦合
针对验证与仲裁阶段分别设计弃权激励的三元奖励与反腐败惩罚奖励，抑制模型在证据不足时的盲猜与破坏性改判
构建 Reflect-R1-CoT-90k 与 Reflect-R1-RL-30k 两个专用数据集，填补多模态反思训练数据的稀缺空白
在 VideoMME、LongVideoBench、MLVU 与 Haystack-LVBench 等基准上取得最优表现，并显著提升反思环节的真实纠错率

方法详解（完整做法）

总体思路

给定长视频 $V$ 与问题 $q$ ，Reflect-R1 不直接学一个单一映射 $P(y|V,q)$ ，而是把推理过程建模为一条多步马尔可夫决策链，由同一个策略 $\pi_\theta$ 依次扮演三个角色：先凭直觉给出初始答案并主动检索关键帧；再在严格信息隔离下只看检索到的证据做独立验证；最后综合两边结果，并在必要时反复调用时序检索工具补充证据，仲裁出最终答案。整条链路通过阶段解耦的强化学习算法 SD-GRPO 训练，核心诉求是让「反思」真正建立在客观视觉证据之上，而不是在模型内部参数里自说自话。

三阶段推理框架：直觉、验证、仲裁

直觉阶段依据原始视频和问题，快速生成初始答案 $y_1$ 并检索出一组关键帧 $F$ ；验证阶段被剥夺对 $y_1$ 和全局视频 $V$ 的访问权限，只能基于 $q$ 和 $F$ 给出独立判断 $y_2$ ，以保证评估的无偏性；仲裁阶段重新拿到完整上下文 $V, F, q, y_1, y_2$ ，无论 $y_1$ 与 $y_2$ 是否一致，都被要求主动回溯视频做深度核实，才能给出最终答案 $y_3$ ：

$y_1, F \sim \pi_\theta(\cdot\mid V,q), \qquad y_2 \sim \pi_\theta(\cdot\mid F,q), \qquad y_3 \sim \pi_\theta(\cdot\mid V,F,q,y_1,y_2)$

这种「先隔离、再综合」的设计从结构上切断了模型用内部幻觉自我佐证的路径，因为 $y_2$ 的产生过程根本看不到 $y_1$ 。

为什么闭环反思会失效

作者先做了一项先导实验：让 Qwen2.5-VL-7B 等模型仅凭内部知识做多轮反思，结果发现从初始直觉到最终答案，准确率不升反降（ $\Delta\mathrm{Acc}<0$ ），例如基座模型在 LongVideoBench 上的初始准确率为 48.59% 左右，反思后反而下滑。原因在于：长视频视觉信息密度高、关键帧易缺失，一旦初始直觉出错，模型在没有外部视觉锚点的情况下，倾向于用自己生成的幻觉去佐证甚至放大最初的错误，而不是真正定位并修正问题。这个发现直接促成了 Reflect-R1「必须引入外部工具主动取证」的核心设计——光靠内部参数纠错，模型连自己的错误都发现不了。

SD-GRPO：分阶段解耦的优势估计

若把直觉、验证、仲裁三阶段的 GRPO 目标直接按全局统一归一化去训练，简单的直觉阶段天然奖励基线更高，会主导梯度更新、压制仲裁阶段的学习信号。SD-GRPO 的做法是把三阶段的 GRPO 目标加权求和成总损失，但优势函数在每个阶段内部单独计算：

$\mathcal{L}(\theta) = \sum_{k=1}^{3} \mathbb{E}_{q\sim\mathcal{D}}\Bigg[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{L_{i,k}}\sum_{t=1}^{L_{i,k}}\Big(\mathcal{J}_{\text{clip}}^{(k)}(t,i) - \beta_k\,\mathbb{D}_{\text{KL}}\big(\pi_\theta(\cdot|x^{(k)})\,\|\,\pi_{\text{ref}}(\cdot|x^{(k)})\big)_t\Big)\Bigg]$

其中 $k\in\{1,2,3\}$ 对应 $y_1,y_2,y_3$ 的生成过程， $x^{(1)}=\{V,q\}$ 、 $x^{(2)}=\{F,q\}$ 、 $x^{(3)}=\{V,F,q,y_1,y_2\}$ 。每个样本的优势值只用同一阶段组内的奖励均值和方差做归一化：

$A_i^{(k)} = \frac{R_i^{(k)} - \mu_k}{\sigma_k + \epsilon}$

也就是说 $y_1$ 样本只和其他 $y_1$ 样本比较， $y_3$ 样本只和其他 $y_3$ 样本比较，不同推理深度的奖励分布被彻底隔离开，仲裁阶段细微的改进信号不会被直觉阶段天然更高的基线淹没。

分阶段奖励设计：弃权激励与反腐败惩罚

统一的奖励由格式奖励 $r_{fmt}$ 和阶段专属的准确率奖励 $r_{acc}^{(k)}$ 组成。验证阶段 $y_2$ 是在信息受限的条件下作答，如果强行用二元奖励，模型在证据不足时会被逼着瞎猜，因此设计为三元奖励，允许模型诚实弃权：

$r_{acc}^{(2)} = \begin{cases} 1, & y_2 = y_{gt} \\ 0, & y_2 \in \mathcal{S}_{\text{abstain}} \\ -1, & \text{否则} \end{cases}$

仲裁阶段则引入反腐败惩罚，防止模型把本来正确的判断改错：

$r_{acc}^{(3)} = \begin{cases} 1, & y_3 = y_{gt} \\ -1, & y_3 \ne y_{gt} \ \text{且} \ (y_1 = y_{gt} \ \text{或} \ y_2 = y_{gt}) \\ 0, & \text{否则} \end{cases}$

这两个奖励分别对应验证和仲裁阶段各自的失败模式：前者防止模型在证据不足时编造答案，后者逼着模型在最终改判时格外谨慎，不能为了追求「看起来在纠错」而破坏原本正确的结果。

两阶段训练：冷启动SFT与强化学习

训练数据来自 LLaVA-Video-178K、Panda-70M、NExT-QA、PerceptionTest、CLEVRER、STAR 六个数据集，用 Qwen2.5-VL-72B 按三阶段流水线合成思维链并做规则过滤，得到 9 万条 Reflect-R1-CoT-90k 用于监督微调冷启动；再由 GPT-4o 从中筛出 3 万条高难度样本构成 Reflect-R1-RL-30k 用于 SD-GRPO 强化学习。先用 SFT 让模型掌握结构化的三阶段输出格式和基本反思范式，再用 SD-GRPO 解锁深层推理与自主工具调用能力——这个顺序本身也呼应了论文在「端到端优化困境」中的发现：先把直觉阶段训稳，仲裁阶段才能学到真正的纠错逻辑，否则会退化成直接抄初始答案的恒等映射。

小结

Reflect-R1 的关键不在于三阶段框架本身，而在于用「信息隔离的独立验证 + 阶段解耦的优势估计 + 阶段专属奖励」三件事共同保证反思真的建立在外部证据上，而不是模型内部的自我说服。

实验与关键数据

基于 Qwen2.5-VL-7B，用 8 张 H200 训练（734 帧）、推理 768 帧，GRPO 分组 G=8；在 VideoMME、LongVideoBench、MLVU 做长视频问答，在 Haystack-LVBench 做时序检索评测，全面优于内部反思与工具检索基线，消融确认各模块均不可或缺。

关键数据

VideoMME (w/o sub) overall

63.5%

vs TimeSearch-R-7B 62.7%（+0.8）

MLVU m-avg

69.8%

vs TimeSearch-R-7B 69.3%（+0.5）

LongVideoBench val

62.5%

vs TimeSearch-R-7B 61.2%（+1.3）

Haystack-LVBench QA准确率

55.5%

vs TimeSearch-R 51.5%（+4.0）

Haystack-LVBench 时序定位F1

8.9

vs TimeSearch-R 8.1（+0.8）

消融：仲裁阶段y3准确率（LongVideoBench）

62.50%

vs 去除验证阶段(w/o y2) 55.90%（+6.6）

影响与局限

这篇论文接着 Vision-R1、VL-Rethinker、Video-R1 等 RL 驱动的多模态反思工作往前走一步，指出闭环自省在长视频场景下的根本缺陷，并把「工具检索证据+分阶段解耦训练」确立为让反思真正起作用的关键设计，为后续工具增强型多模态智能体的自我纠错训练提供了可复用的 RL 范式。

局限与不足

三阶段流程通常需要多次工具调用和较长的生成链路，推理延迟和计算开销明显高于单轮直接作答，不适合强实时场景。方法整体依赖时序检索的质量：当检索结果不准确或关键视觉线索本身很弱时，验证和仲裁阶段可能缺乏足够的证据支撑来真正修正错误，反思效果会打折扣。此外，整体表现的上限仍然受底层视觉语言模型能力约束，在少数高度复杂或证据本身模糊的样本上依然可能出错。作者认为未来方向是提升推理效率，并整合更广泛、更精确的工具集来增强证据获取与系统鲁棒性。