VideoSeek：借助工具引导式寻证的长时程视频智能体 · VideoSeek: Long-Horizon Video Agent with Tool-Guided Seeking

原文摘要 · English Abstract

Video agentic models have advanced challenging video-language tasks. However, most agentic approaches still heavily rely on greedy parsing over densely sampled video frames, resulting in high computational cost. We present VideoSeek, a long-horizon video agent that leverages video logic flow to actively seek answer-critical evidence instead of exhaustively parsing the full video. This insight allows the model to use far fewer frames while maintaining, or even improving, its video understanding capability. VideoSeek operates in a think-act-observe loop with a well-designed toolkit for collecting multi-granular video observations. This design enables query-aware exploration over accumulated observations and supports practical video understanding and reasoning. Experiments on four challenging video understanding and reasoning benchmarks demonstrate that VideoSeek achieves strong accuracy while using far fewer frames than prior video agents and standalone LMMs. Notably, VideoSeek achieves a 10.2 absolute points improvement on LVBench over its base model, GPT-5, while using 93% fewer frames. Further analysis highlights the significance of leveraging video logic flow, strong reasoning capability, and the complementary roles of toolkit design.

概要

现有视频智能体大多依赖对视频做密集、穷举式的预处理，计算开销随视频时长急剧上升，而作者发现在 LVBench 上超过八成的帧对回答问题其实毫无必要。受人类看视频「先摸情节、再定位相关片段、最后细看」这一行为启发，本文提出 VideoSeek：一个在 think–act–observe 循环中运行的长时程视频智能体，配合三档粒度的工具箱主动寻找与问题相关的证据，而非把全片看一遍。这样设计使模型能用远少于同类方法的帧数，取得相当甚至更好的长视频理解与复杂推理表现。

以往的视频智能体大多沿用「密集预处理 + 单次生成答案」的思路：例如 DrVideo 以 0.2 FPS 把长视频转成长文档，DVD agent 与 MR. Video 以 2 FPS 构建多粒度描述，这类方法虽能提升准确率，但预处理成本随视频时长近乎线性增长，难以扩展到长视频。作者观察到，在 LVBench 上超过八成的帧对回答给定问题其实并不必要，说明穷举式的多粒度标注既低效又没有必要，这正是本文重新设计智能体探索策略的出发点。

关键贡献

提出 VideoSeek，一种利用视频逻辑流主动寻找答案相关证据的长时程视频智能体，摆脱对密集采样帧的穷举式解析。
设计了轻量级多粒度工具箱（overview、skim、focus），支持从全局故事线到局部细节的渐进式聚焦式探索。
采用 think–act–observe 循环直接在完整对话历史上做长时程推理与工具调用，无需预先构建视频数据库或维护额外记忆缓冲。
在 LVBench、Video-MME、LongVideoBench 与 Video-Holmes 四个长视频理解与复杂推理基准上取得同类最优或接近最优的准确率，同时大幅减少所需帧数。
通过消融实验系统分析了视频逻辑流、基座模型推理能力与工具箱构成三者对智能体效果的独立贡献与互补作用。

方法详解（完整做法）

总体思路

VideoSeek 把「看视频回答问题」重新表述为一个长时程决策过程：智能体不是一次性把大量帧塞进模型，而是在多轮 think–act–observe 循环里，每一步先基于已有观察进行推理，再决定调用工具箱里哪一件工具去获取新证据，如此反复，直到认为证据已经足够，才输出最终答案。整个过程由一个具备强推理与工具调用能力的「思考模型」驱动（论文默认用 GPT-5），工具箱本身只负责按需产出不同粒度的视觉观察，二者配合让模型的探索路径贴合视频本身的逻辑流，而不是机械地逐帧扫描。

问题建模：从单次生成到长时程轨迹

传统视频语言任务只建模给定视频 $\mathbf{X}$ 与查询 $\mathbf{Q}$ 直接生成答案 $\mathbf{Y}$ 的条件概率：

$p(\mathbf{Y} \mid \mathbf{X}, \mathbf{Q})$

本文改为在 $n$ 个推理步上显式建模一条由「推理-动作-观察」三元组组成的轨迹 $\tau$ ：

$\tau = \big(\langle z_1, a_1, o_1 \rangle, \dots, \langle z_t, a_t, o_t \rangle, \dots, \langle z_n, a_n, o_n \rangle\big)$

其中 $z_t$ 是第 $t$ 步的内部推理痕迹， $a_t$ 是选择的动作（即具体的工具调用）， $o_t$ 是该动作返回的观察结果。求解视频语言任务因此变成同时预测轨迹与答案的联合分布，并可进一步因式分解为「探索」与「作答」两阶段：

$p(\tau, \mathbf{Y} \mid \mathbf{X}, \mathbf{Q}) = p(\tau \mid \mathbf{X}, \mathbf{Q}) \cdot p(\mathbf{Y} \mid \mathbf{X}, \mathbf{Q}, \tau)$

前一项刻画长时程推理与证据寻找过程，后一项则是在积累的轨迹条件下生成答案。这一因式分解是全文方法设计的出发点：只要能让 $p(\tau \mid \mathbf{X}, \mathbf{Q})$ 更「省帧且切题」，后续作答自然更容易、更准确。

多粒度工具箱：overview / skim / focus

为了让探索过程既能把握全局又能抠住细节，VideoSeek 设计了三件粒度递进的工具。 $\texttt{<overview>}$ 工具在整段视频时间轴上均匀采样固定数量的帧，生成粗略的故事梗概，帮助智能体建立视频结构（情节、人物、场景）的初步印象，主要在推理开始阶段使用； $\texttt{<skim>}$ 工具对一段仍然偏长、不适合逐帧细看的候选区间做粗粒度扫描，均匀采样少量帧并挑出与当前查询最相关的部分，起到「大范围定位→小范围候选」的过渡作用，且可在不同候选区间上被多次调用； $\texttt{<focus>}$ 工具则在锁定的短片段上以 1 FPS 的较高帧率做精细检查，用来读取文字、辨认人脸、数数或确认某个瞬时动作等需要高保真细节的场景，是保证最终答案准确性的「收尾」步骤。三件工具的采样规模都由统一超参数 $\alpha$ 控制（如 overview 采样 $16\alpha$ 帧，skim/focus 处理至少 $4\alpha$ 秒的片段），LVBench 上取 $\alpha=4$ ，其余三个基准取 $\alpha=2$ 。

think–act–observe 循环与算法流程

给定查询 $\mathbf{Q}$ 和视频 $\mathbf{X}$ ，智能体维护一条以系统指令与查询初始化的轨迹 $\tau$ 。每一轮，思考模型 $\theta_{\text{think}}$ 读取完整轨迹 $\tau$ （包含此前所有的思考、动作与观察），输出新的推理痕迹与工具调用计划；若计划只包含单个 $\texttt{<answer>}$ 动作，就直接解析出答案并终止循环，否则调用工具箱在视频上执行该计划，把返回的观察结果拼接进轨迹，进入下一轮。若达到最大轮数 $N=20$ 仍未给出答案，则追加一条「直接作答」指令，让思考模型基于已积累的证据强制给出最终答案。这个流程与人类看视频找答案的行为高度一致：先粗后细、边看边判断是否已经够用，而不是把全部素材看完再决策。

为什么不依赖预建数据库或记忆缓冲

与 VideoAgent、DVD、Ego-R1 Agent 等此前的视频智能体不同，VideoSeek 不预先构建视频数据库，也不维护单独的结构化记忆模块，而是把全部历史观察直接留在对话轨迹里，交给思考模型在每一步重新审视、重新规划。这么做的关键考虑是：预建数据库或记忆缓冲本质上仍是「先穷尽处理」的变体，其构建成本会随视频时长增长；而让强推理模型直接在不断增长的对话历史上做决策，既避免了额外的存储与维护开销，也让工具调用策略可以随着已获得证据的变化而动态调整，探索路径更灵活、更贴合具体查询，这正是 VideoSeek 能用远少于同行的帧数达到相当甚至更好效果的核心原因。

小结

VideoSeek 的关键不在于某个新模型结构，而在于把视频理解重新表述为「轨迹优先、按需取证」的长时程决策问题，用多粒度工具箱和纯对话历史驱动的 think–act–observe 循环，替代了以往依赖密集预处理或额外记忆结构的做法。

实验与关键数据

实验覆盖 LongVideoBench、Video-MME（长视频子集）、LVBench（约一小时长视频）与 Video-Holmes（悬疑短片）四个基准，默认用 GPT-5 做思考模型、最大轮数 N=20，基线为均匀采样 384 帧的 GPT-5。VideoSeek 在四基准均取得最优或强劲准确率，帧数远少于基线。

关键数据

LVBench 准确率（无字幕）

68.4%

vs GPT-5基线 58.2%（+10.2）

LVBench 帧用量降幅

减少93%

vs GPT-5基线均匀采样384帧

VideoMME-long 准确率（有字幕）

81.2%

LongVideoBench-long 准确率

73.5%

Video-Holmes 准确率

47.3%

三项长视频基准帧用量降幅区间

76%–96%

vs GPT-5基线均匀采样384帧

影响与局限

此前的视频智能体（VideoAgent、DVD、Ego-R1 Agent 等）要么依赖预建视频数据库，要么需维护结构化记忆缓冲支撑长时程推理，本质仍是「先穷尽处理、再检索」。VideoSeek 证明只用不断累积的对话历史轨迹，配合足够强的推理模型与恰当工具粒度，就能替代这些存储结构，为轻量、可扩展的视频智能体提供了「逻辑驱动、按需寻证」的新范式。

局限与不足

论文自身指出，VideoSeek 依赖视频的逻辑流（情节、因果结构）来引导探索，因此在异常检测一类任务上并不适合——这类任务的关键证据往往是突发、局部且难以从整体故事线推断出来的孤立瞬间，逻辑驱动的导航策略反而可能因为没有明显线索而错过它们。此外，消融实验显示把思考模型从 GPT-5 换成 GPT-4.1 会显著拉低准确率，说明整套方法的效果高度依赖底层推理模型本身的规划与工具调用能力，并非一个与基座模型完全解耦的通用增益；框架允许最多 20 轮工具调用，虽然节省了视觉帧数，但多轮推理带来的文本 token 与调用延迟开销并未被论文的「帧数」这一效率指标直接体现。