LongVT：用原生工具调用激发「用长视频思考」的能力 · LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling

原文摘要 · English Abstract

Large multimodal models (LMMs) have shown great potential for video reasoning with textual Chain-of-Thought. However, they remain vulnerable to hallucinations, especially when processing long-form videos where evidence is sparse and temporally dispersed. Inspired by how humans comprehend long videos—by first skimming globally and then examining relevant clips for details—we introduce LongVT, an end-to-end agentic framework that enables "Thinking with Long Videos" via interleaved Multimodal Chain-of-Tool-Thought. Specifically, we exploit LMMs' inherent temporal grounding ability as a native video cropping tool to zoom in on a specific video clip and resample finer-grained video frames. This global-to-local reasoning loop continues until answers are grounded in retrieved visual evidence. Given the scarcity of fine-grained question-answering (QA) data for the long video reasoning task, we curate and release a data suite named VideoSIAH to facilitate both training and evaluation. Specifically, our training dataset consists of 247.9K samples for tool-integrated cold-start supervised fine-tuning, 1.6K samples for agentic reinforcement learning, and 15.4K samples for agentic reinforcement fine-tuning. Our evaluation benchmark consists of 652 QA pairs that are carefully curated through a semi-automatic data pipeline with human-in-the-loop validation. With a meticulously designed three-stage training strategy and extensive empirical validation, LongVT consistently outperforms existing strong baselines across four challenging long-video understanding and reasoning benchmarks. Our code, data, and model weights are publicly available at https://github.com/EvolvingLMMs-Lab/LongVT/.

概要

长视频推理的关键难点是证据稀疏分散，纯文本思维链模型容易幻觉，均匀采样帧常漏掉决定性瞬间。LongVT 借鉴人类「先粗看全局、再回看细节」的观影习惯，把模型潜在的时序定位能力包装成原生的 crop_video 裁剪工具，让模型主动提出时间窗口、取回片段并重新推理，形成交织式多模态工具思维链（iMCoTT）。作者构建 VideoSIAH 数据集与评测基准，并设计三阶段训练流程，在四个长视频基准上取得开源模型中的最优表现。

此前的多模态大模型多沿用 R1 式范式——纯文本思维链SFT接GRPO强化学习，这类方法本质上是语言中心的，面对长视频时容易产生幻觉，且均匀采样帧无法自适应捕捉关键证据，常常错过决定性瞬间。同期的工具增强方法（如VITAL）已证明工具增强RL能提升视频问答与时序定位，但仍缺乏面向「证据稀疏、细粒度」长视频推理场景的专用大规模数据与评测基准，模型也没学会如何形成、验证、修正时序假设。

关键贡献

提出端到端的智能体框架 LongVT，让大模型原生交织多模态工具增强思维链与按需片段检视，提升长视频推理的有效性与可靠性。
构建可扩展的数据流水线，产出 VideoSIAH 训练数据与 VideoSIAH-Eval 评测基准，专门面向证据稀疏的「视频草堆寻针」式长视频推理。
设计联合答案-时序定位奖励函数，将答案准确性与时序定位精度耦合进同一强化学习目标，区别于以往只优化答案或只优化时间对齐的做法。
系统性验证了联合奖励与强化微调（RFT）阶段相对于单纯SFT或RL均能带来持续增益，建立了长视频推理的新基线。
证明该方法在多轮工具交互下不增加推理延迟，甚至因避免幻觉驱动的冗长生成而比单轮基线更快。

方法详解（完整做法）

总体思路

LongVT 把长视频推理设计成一个「全局到局部」的闭环：模型先看一遍稀疏采样的全局帧，形成粗略假设；如果证据不足，它会像人一样提出一个更可能包含答案的时间窗口，调用原生的 crop_video(start_time, end_time) 工具把该片段裁出来并重新采样更密的帧，再结合新证据修正或确认答案。这个交织式多模态工具思维链（iMCoTT）不依赖外部专家模型或检索器，而是把模型本身潜在的时序定位能力显式激发出来。整个系统通过三阶段训练（冷启动SFT、智能体RL、智能体RFT）在自建的 VideoSIAH 数据集上训练得到。

VideoSIAH 数据构建流水线

作者先用确定性的像素级镜头检测算法切分长视频，把短于10秒的连续片段合并成语义稳定的单元，保证工具操作落在视觉连贯的时间区间而非随机切分上。每个片段由 Qwen2.5-VL-72B 生成包含物体、空间关系与事件演变的详细描述，作为生成时序相关QA对的语义基础；随后经过两级过滤——基于文本的QA过滤（去除答案泄露等低质量问题）与基于多模态一致性的过滤（GLM-4.5V 核对答案与视频片段是否吻合，剔除幻觉性问题）。标注者反馈进一步迭代优化提示规则，形成一个低人工成本但高质量的提示-反馈闭环。

长视频自适应多轮工具调用生成

SFT阶段发现单轮稀疏采样常常抓不住正确的时间片段，因此需要按视频长度自适应生成多轮工具调用轨迹：视频越长，被选中做多轮生成的概率越高，从而让长视频获得更充分的时序覆盖：

$P_{\text{multi}} = 1 - \frac{L_{\max} - \operatorname{clip}(L_{\text{video}}, L_{\min}, L_{\max})}{L_{\max} - L_{\min}}$

其中 $L_{\text{video}}$ 是视频时长， $L_{\min}$ 、 $L_{\max}$ 是预设的最短/最长时长阈值， $\operatorname{clip}(\cdot)$ 把时长限制在该区间内。这样短视频几乎不需要多轮，长视频则被大概率安排多轮裁剪-重推理的训练轨迹。

联合答案-时序定位奖励

在智能体强化学习阶段，LongVT 用 GRPO 训练模型决定何时检视视频、裁多长、如何把取回的证据融入推理。奖励由三部分构成：答案准确性、格式合规性与时序重叠精度。开放式问答无法用规则匹配可靠评估，因此用 LLM-as-a-Judge 给出「完全一致 F / 部分一致 P / 不一致 I」的分类裁决，映射为分档准确率奖励：

$R_{\text{acc}}^{(k)}=\begin{cases}1, & J^{(k)}=\textsc{F}\\ 0.5, & J^{(k)}=\textsc{P}\\ 0, & J^{(k)}=\textsc{I}\end{cases}$

时序定位奖励直接取预测窗口 $[t_s,t_e]$ 与真值窗口 $[t'_s,t'_e]$ 的IoU：

$\mathrm{IoU} = \frac{|[t_s,t_e]\cap[t'_s,t'_e]|}{|[t_s,t_e]\cup[t'_s,t'_e]|},\qquad R_{\text{time}}^{(k)}=\mathrm{IoU}^{(k)}$

三项奖励直接相加得到总奖励 $R^{(k)} = R_{\text{acc}}^{(k)} + R_{\text{format}}^{(k)} + R_{\text{time}}^{(k)}$ ，把答案选择显式地和证据所在的时间位置绑定在一起。

为什么用IoU而不是Recall做时序奖励

作者的消融实验发现，如果用Recall（预测窗口覆盖真值窗口的比例）做奖励，策略会学到一个「奖励作弊」的捷径：只要不断扩大预测时间窗口把真值区间整个包住，Recall分数就会单调上升，而完全不关心边界质量，导致Recall-准确率曲线出现明显的平台期。IoU则通过并集项隐式惩罚了窗口膨胀，只有预测窗口和真值窗口既充分重叠又不过度放大时才能拿到高分，因此能学出更贴合真实边界、更克制的裁剪行为。这也是论文最终舍弃额外「工具调用奖励」、只保留准确率+格式+IoU三项奖励的原因——额外的二元工具奖励并不能提升工具使用频率，反而可能抑制探索。

智能体强化微调（RFT）巩固行为

强化学习之后，模型的工具调用行为仍不够稳定。RFT阶段从早期RL的rollout中筛选同时满足「最终答案正确」且「预测时间窗口与真值窗口IoU不低于0.3」的高质量轨迹，把这些自蒸馏出的成功案例重新转换成监督数据，作为「特权示范」纳入后续微调。这一步相当于让模型从自己已经做对的成功经验里再学习一遍，巩固RL阶段学到的探索性时序定位与工具调用模式，避免策略在稀疏奖励下出现的不稳定或倒退。

小结

LongVT 的关键不是某个单一模块，而是「SFT打地基学会调用crop_video工具、RL用耦合的答案-IoU奖励学会何时裁剪何处裁剪、RFT把RL自己产出的成功轨迹蒸馏回来稳固行为」这三阶段闭环，缺一阶段模型的工具调用能力或时序定位精度都会明显退化。

实验与关键数据

以 Qwen2.5-VL-7B 为基座，在 VideoMME、VideoMMMU、LVBench 与自建 VideoSIAH-Eval 上，对比多个开源与专有模型，分64帧稀疏与512/768帧密集采样评测。LongVT两种设置下均取得开源SOTA，密集采样优势更明显。

关键数据

VideoSIAH-Eval 综合得分（LongVT-7B-RFT）

42.0

vs 次优开源基线 36.0（+6.0）

四基准平均与GPT-4o的差距

约4分

VideoSIAH 训练数据规模（SFT/RL/RFT）

247.9K / 1.6K / 15.4K 样本

VideoSIAH-Eval 基准规模

244段视频 / 652道QA，平均时长约1688秒

RFT轨迹筛选IoU阈值

≥0.3

影响与局限

LongVT 把「工具增强推理」从图像域的像素级操作（缩放、画线）迁移到长视频域的时序裁剪，并首次系统性地把答案正确性与时序定位精度耦合进单一RL奖励，为后续长视频智能体训练提供了数据构建方法与三阶段训练配方的可复现范式。

局限与不足

该方法依赖模型自身潜在的时序定位能力被冷启动SFT激活，如果基座模型本身时序定位能力过弱（论文中直接对Qwen2.5-VL-7B做RL会训练崩溃），冷启动阶段就是不可省略的前提，方法的可迁移性受基座模型能力上限约束。奖励设计中的LLM-as-a-Judge引入了额外的评判模型依赖与成本，且开放式问答的分档裁决（完全/部分/不一致）本身仍有主观性，可能引入噪声梯度。RFT阶段依赖RL自身产出的rollout做自蒸馏，若RL阶段的探索覆盖不足，筛选出的「高质量轨迹」可能存在系统性偏差，导致巩固的行为模式并非全局最优。此外，VideoSIAH-Eval评测基准早期版本曾因数据导出问题出现重复条目，虽经清理后影响很小，但也提示该数据流水线的自动化程度较高，人工验证环节仍需持续投入以保证质量。