Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding先思考，再验证：面向长视频理解的假设-验证多智能体框架

长视频问答的核心难点不是“找证据”而是“该找什么证据”。以往基于检索的agent框架先跑相关片段再拼凑答案，容易被表面相关但缺乏关键信息的片段带偏，产生语义漂移和相关性驱动的错误。本文提出VideoHV-Agent，把长视频问答重新表述为“假设-验证”过程：Thinker和Judge把候选答案改写成可检验假设并提炼判别性线索，Verifier据此定位时间窗口、调取细粒度字幕核验，Answer agent整合证据给出答案与推理链。三个基准上取得零样本SOTA，且推理更快。

长视频QA此前主要走两条路：靠关键帧/片段选择或分层摘要压缩输入（LLoVi、VideoTree、LVNet等），或多阶段先定位再推理的pipeline（MoReVQA、TraveLER）。近期agent框架（VideoAgent、OmAgent等）让LLM自主规划检索、迭代搜集片段，但检索本质是“相关性驱动”的被动过程：反复搜索语义相关片段再重新规划，不显式检查证据是否支持答案，误差随链条传播，CoT式长推理容易语义漂移。

关键贡献

• 提出“假设-验证”范式，把长视频推理从被动的相关性检索转变为主动的任务构想与证据核验。
• 设计四智能体协作框架VideoHV-Agent：Thinker生成假设、Judge提炼判别性线索、Verifier定位并核验证据、Answer整合结论。
• 引入自我优化循环，依据显式验证状态（VERIFIED/PARTIAL/NOT_VERIFIED）动态决定是否重新生成假设或补充证据。
• 将帧级字幕与查询条件摘要解耦，全局推理只用精简摘要、细粒度取证才回看原始帧，兼顾效率与准确性。
• 在EgoSchema、NextQA、IntentQA三个长视频问答基准上取得零样本SOTA，且推理耗时低于同类agent方法。

总体思路

VideoHV-Agent 把长视频问答的核心难点从“该去哪里找证据”转移到“该验证什么假设”。整个流程分三阶段：先把逐帧字幕压缩成与问题相关的查询条件摘要，快速估计哪些候选答案在粗粒度证据下是合理的；再进入两步推理——Thinker 把每个候选选项改写成可检验的假设，Judge 从假设集合中提炼出一条能区分它们的判别性线索，Verifier 依据线索定位视频中最相关的时间窗口并调用细粒度字幕核验线索是否成立；最后 Answer agent 综合摘要与已验证证据给出最终答案和透明推理链。若验证结果不确定，系统会触发自我优化循环重新生成假设或补充证据，而不是像以往检索式agent那样反复“搜索-重新规划”却不显式核查证据是否真的支持候选答案。

上下文摘要与信息解耦

为了应对长视频的冗余与复杂时序结构，系统先用字幕模型把每一帧转成文本描述 $P_v$，再从这些帧级字幕中提炼出一个紧凑的、以问题为条件的摘要 $P_s$。与以往把帧字幕和摘要直接拼接成一个长上下文、所有推理阶段共用的做法不同，VideoHV-Agent 把两者的角色解耦：摘要 $P_s$ 只用于全局推理（判断哪些候选合理、生成假设与线索），帧级字幕 $P_v$ 只在后续 Verifier 定位与核验证据时才被重新访问。给定长视频 $V=\{f_t\}_{t=1}^{L}$、问题 $Q$ 与选项集合 $O=\{o_i\}$，系统的目标是给出有显式证据 $E$ 支撑的答案 $A$：

$$V=\{f_t\}_{t=1}^{L},\quad Q,\ O=\{o_i\}\ \Longrightarrow\ A\ \text{supported by}\ E$$

这种解耦让全局推理始终在一个精简、低成本的摘要上进行，只有在真正需要细节时才回看原始帧，从而避免了逐帧长上下文带来的、随视频长度线性增长的处理代价。

假设生成与判别性线索

在给定摘要 $P_s$ 的条件下，Thinker agent 把每个候选选项 $o_i$ 改写成一条可检验的假设 $h_i$——显式指出该假设成立所需的关键实体/物体、动作/事件以及时间-因果约束，选项集合与假设集合之间是一一对应关系：

$$O=\{o_i\}\ \longmapsto\ H=\{h_i\}$$

在生成假设之前，Thinker 会先仅凭摘要过滤掉明显错误或表述不当的选项，减少后续验证阶段的无效计算。但逐条独立验证所有假设会忽略它们之间的逻辑关系，因此 Judge agent 进一步在假设集合 $H$ 上归纳出一条判别性线索 $\kappa$——指出能把 $h_i$ 与其他候选假设区分开的最小观测，例如某个特定的物体交互、事件发生的先后顺序，或者只有该假设为真时才会出现的视觉结果。这条线索是后续 Verifier 阶段的聚焦目标，决定了要去查什么、什么样的证据算支持或反驳。

时序定位与细粒度核验

Verifier agent 接到线索 $\kappa$ 后并不会重新扫描整段视频，而是先用帧级字幕 $P_v$ 粗略定位线索最可能出现的时间窗口，把注意力集中在决定性证据可能出现的片段而非全视频；定位窗口确定后，再回看该窗口内的原始帧、调用细粒度字幕（每次最多处理 5 帧）提取更详细的视觉描述，以避免受限于最初粗糙的视觉到文本转换。基于收集到的证据 $E$，线索的验证状态被归为三类之一：

$$\text{status}(\kappa)\in\{\text{VERIFIED},\ \text{PARTIAL},\ \text{NOT\_VERIFIED}\}$$

VERIFIED 表示证据已足以判定线索成立，Verifier 会把收集到的证据整理成一条推理轨迹供 Answer agent 使用；PARTIAL 表示线索被部分验证，但仍需要补充观测，此时会触发一个仅针对验证环节的小型自我优化循环，去新的时间戳补充细粒度描述；NOT_VERIFIED 表示当前线索本身设计得不够好，需要连同假设一起重新生成。

验证状态机与自我优化循环

为了模拟人类“假设-修正”的过程，VideoHV-Agent 在两步推理外层套了一个自我优化循环：当验证结果不确定（即 NOT_VERIFIED）时，系统会用两类重生成提示重新触发 Thinker 和 Judge——“具体化增强”让假设变得更具体、更可验证，“区分度增强”在假设彼此重叠时增大它们之间的语义对比。整套流程形式化为最多迭代 $T$ 轮的循环，每轮先生成假设与线索，再收集证据并判断状态，只要状态不是 NOT_VERIFIED 就跳出循环：

$$H\leftarrow F_{llm}(Q,O,P_s,\text{prompt}_{\text{Hypothesis}}),\quad \kappa\leftarrow F_{llm}(H,P_s,\text{prompt}_{\text{Judge}}),\quad E\leftarrow F_{llm}(\kappa,P_v,\text{prompt}_{\text{Evidence}})$$

这种设计的关键直觉是：验证状态不是一个用来展示“可解释性”的装饰性输出，而是驱动系统行为的开关——论文的消融实验显示，去掉这个显式状态会让准确率下降 7 个百分点，说明状态机才是自我优化真正生效的机制，而不只是锦上添花的展示层。

证据整合与答案生成

一旦某轮验证跳出循环，Answer agent 会结合查询条件摘要 $P_s$、判别性线索 $\kappa$ 与已验证的证据 $E$ 重新审视每个候选选项，检查是否存在与证据冲突的选项，并构造一条说明“测试了什么、观察到了什么、支持或反驳了什么”的推理链，最终给出答案：

$$A\leftarrow F_{llm}(Q,O,P_s,\kappa,E,\text{prompt}_{\text{Answer}})$$

这一步只在证据充分之后才发生，避免了以往检索式agent“边搜边猜”、证据不足时也强行给出答案的问题。

小结

VideoHV-Agent 的关键不在于“搜得更多”，而在于把长视频推理重新表述为一个可检验、可终止的假设-验证过程：先想清楚“答案成立需要看到什么”，再有目的地去核验，证据不够就显式承认并补测，而不是被表面相关性牵着走。

实验在EgoSchema（约3分钟第一人称视频，500题验证集）、NextQA（日常因果时序推理）、IntentQA（角色意图理解）三个多选视频QA基准上评测，帧率1fps，字幕分别用LaViLa/CogAgent生成，四个agent均以GPT-4o为后端。结果显示三个基准均取得零样本SOTA，且单题耗时更低。

关键数据

该工作把长视频agent式推理的重心从“检索什么片段”转移到“该验证什么假设”，为CoT类video agent的语义漂移与相关性驱动误差问题提供了结构化解法。其Thinker-Judge-Verifier-Answer分工与显式验证状态机，为后续长视频多智能体系统提供了可复用的“先思考、后验证”设计范式，也为可解释、可追责的视频推理提供参考。

局限与不足

论文未设置专门的Limitations小节，但从方法设计看存在几点局限：其一，四个agent均依赖GPT-4o作为LLM后端，细粒度字幕也由GPT-4o生成，推理效果和成本都强绑定于闭源大模型的能力与调用价格，替换成开源小模型后的效果只在补充材料中简单提及、未在主文充分验证；其二，判别性线索由Judge从假设集合归纳而来，若候选选项本身高度相似或存在多个合理答案，线索可能无法给出真正具有区分力的观测，从而影响下游验证质量；其三，Verifier 的时序定位依赖帧级字幕（LaViLa/CogAgent）的质量，若字幕模型本身漏检关键片段，线索可能被错误地定位到无关时间窗口，自我优化循环也难以完全弥补这种系统性的字幕误差；其四，主实验集中在数十秒到数分钟级别的视频（EgoSchema约3分钟、NextQA约43秒），更长的VideoMME-L视频结果只作为补充材料呈现，方法在小时级视频上的可扩展性未在主文中充分论证。