VideoITG: Multimodal Video Understanding with Instructed Temporal GroundingVideoITG：面向指令的时序定位与多模态视频理解

视频大模型处理长视频时受限于显存与算力，常用均匀采帧，但这会漏掉与问题真正相关的关键帧。VideoITG 提出「按用户指令挑帧」的思路：先用全自动的 VidThinker 流水线（分段配字幕→按指令检索片段→逐帧二分类定位）标注出 40K 视频、50 万条指令-时序标注（VideoITG-40K），再训练一个可插拔的 VideoITG 模块，在推理时给每帧打相关性分，只把 Top-K 帧交给下游 Video-LLM 回答问题。该框架用更少的帧数就能达到甚至超过均匀多帧采样的效果。

视频大模型受限于显存和计算开销，难以把长视频的全部帧都输入模型，常见做法是均匀采样，但这会系统性地漏掉与具体问题相关的关键时刻。此前的改进方向大致两类：一类通过池化、相似度剪枝或聚类压缩冗余帧，另一类扩展模型可处理的序列长度，但都不直接利用用户指令；少数问题相关的采帧方法（如 SeViLA）逐帧独立打分，缺乏跨帧的时序建模，难以应对多事件、时间敏感的复杂查询。更根本的问题是缺乏大规模、指令引导的时序定位数据来训练更强的采帧模型。

关键贡献

• 提出 VidThinker 全自动标注流水线，用 LLM/VLM 链式生成指令条件字幕、片段检索与逐帧定位，无需人工标注即可产出大规模时序 grounding 数据。
• 构建 VideoITG-40K 数据集，包含 4 万条视频与 50 万条指令对齐的时序标注，规模是此前同类数据集的 4 倍以上。
• 设计并对比三种即插即用的 VideoITG 模型变体（文本生成式、锚点因果注意力式、全注意力池化式），确定全注意力池化分类效果最优。
• 在多种 Video-LLM 骨干（LLaVA-OneVision、Qwen2-VL、LLaVA-Video、InternVL2.5/3.5、Eagle2.5、Qwen3-VL）上验证 VideoITG 的通用增益，且帧数更少也能追平甚至超过更多帧的均匀采样。
• 系统性消融了架构设计、数据构建策略与预训练数据来源对指令时序定位效果的贡献。

总体思路

VideoITG 把「选帧」变成一个可训练、可指令化的子任务，整体分两步。第一步用全自动的 VidThinker 流水线为大量视频生成指令条件下的时序标注，构成 VideoITG-40K 数据集；第二步用该数据集训练一个可插拔的 VideoITG 模块：视觉编码器把视频帧映射为文本对齐的特征，VideoITG 模块结合问题对每帧打相关性分并选出 Top-K 帧，再交给下游 Video-LLM 生成答案。训练好的 VideoITG 模块与具体 Video-LLM 解耦，可直接插到不同规模、不同架构的模型上使用。

VidThinker 三段式自动标注

VidThinker 模拟人类在长视频中查找信息的方式：先从指令里提炼线索，再粗定位相关时间窗口，最后精确定位目标帧。它包含指令条件片段配字幕、指令引导片段检索、指令引导帧定位三个依次收窄搜索空间的阶段。第一阶段把视频按 5 秒切成短片段，先用 LLM 从问答对中提炼关键动作短语，再用 VLM 结合该短语和片段视觉内容生成逐段描述，且严格要求只在视觉证据支持时才采用短语内容，避免幻觉：

$$k = \mathrm{LLM}(q, a),\quad c_i = \mathrm{VLM}(k, v_i)$$

指令引导的片段检索与帧级过滤

第二阶段把所有片段描述按时间顺序交给 LLM，用链式思考同时考虑关键词匹配与时间关系，直接输出相关片段的索引集合，而不是简单打二值相关分：

$$\mathcal{I}_{\mathrm{rel\text{-}clip}} = \mathrm{LLM}(\{c_i\}_{i=0}^n, q, a)$$

第三阶段在候选片段内逐帧做二分类，让 LLM 结合问答对判断每一帧是否与指令相关，只保留判定为「是」的帧作为最终时序标注：

$$y_i = \mathrm{LLM}(f_i, q, a), \quad y_i \in \{\text{yes}, \text{no}\}$$

这种「先粗检索、后逐帧精筛」的两级设计既降低了逐帧标注的计算量，又保证了最终帧集合的精度。

按指令类型定制的选帧策略

VidThinker 把指令分为四类并各配一套选帧策略：语义类指令（问外观、物体、场景）在候选片段内用 CLIP 特征算相邻帧余弦相似度，只有与上一关键帧相似度低于场景切换阈值时才保留新帧，确保语义多样性；运动类指令（问动作、速度、方向）在定位片段内做固定速率采样以捕捉动作演变；语义+运动类指令兼顾两者，在运动关键区域固定速率采样的同时保留语义信息帧；无明确线索的整段视频类指令则在全视频范围内均匀抽取一组紧凑但覆盖首尾中段的帧。按指令类型区分采帧策略，避免了「一套采样规则打天下」导致的监督信号不匹配。

三段式推理流程与模型变体

VideoITG 模块的推理流程可以形式化为三步：视觉编码器把视频映射为文本对齐特征，VideoITG 模块结合问题给出相关帧索引，Video-LLM 再基于被选中的帧特征和问题生成答案：

$$F = \mathrm{VIT}(v), \quad \mathcal{I}_{\mathrm{rel}} = \mathrm{VideoITG}(F, q), \quad a = \mathrm{VideoLLM}(F_{\mathcal{I}_{\mathrm{rel}}}, q)$$

在此基础上设计了三种变体：Variant A 把选帧建模为下一词预测的文本生成任务，直接沿用 Video-LLM 原有的生成范式；Variant B 改为判别式的逐帧分类，但沿用预训练模型的因果注意力掩码；Variant C 进一步去掉因果限制，改用全双向注意力做逐帧分类。

锚点 token 与因果注意力的取舍

Variant B 保留因果掩码以维持时序一致性，但因果掩码会导致视觉 token 无法提前看到指令、早期帧也无法利用后续帧的时序线索。为缓解这一限制，VideoITG 在指令之后插入一个锚点 token 作为每帧的时序中介，由该帧所有空间位置的特征全局平均得到：

$$A^t = \frac{1}{M}\sum_{i,j} F_{ij}^t, \quad t \in [1, T]$$

锚点 token 序列 $\{A^t\}_{t=1}^T$ 在因果注意力下充当跨帧信息传递的桥梁，但本质上仍是对「因果结构限制信息流」这一缺陷的补丁。

为什么全注意力池化效果更好

Variant C 干脆移除因果掩码，让视觉与文本 token 之间做全双向注意力，每帧的视觉 token 经平均池化后接一个分类头判断与指令的相关性，不再需要额外的锚点 token。论文的解释是：全注意力有更大的接收域，能建模全局时序关系，且所有帧的 token 都能直接访问文本指令，而不必像 Variant B 那样绕道锚点 token 中转；消融实验也证实 Variant C 全面优于 Variant A 和 Variant B，说明「让每一帧都能看到完整指令和其它帧」比「维持因果结构再打补丁」更重要。

小结

VideoITG 的关键不在某个新奇的网络结构，而在于用一条全自动三段式流水线把「指令-时序定位」的监督信号规模化，再证明一个全注意力、判别式的轻量分类模块就足以把这些监督转化为可迁移、可插拔的选帧能力。

在 LongVideoBench、MLVU、VideoMME、CG-Bench-mini 等长视频基准上，将 VideoITG 接入多种 Video-LLM 骨干，与均匀采样及 BOLT、Frame-VOYAGER、AKS、Q-Frame 等方法对比，结论是更少帧数即可反超更多帧的方法。

关键数据

VideoITG 把关键帧选择从「无监督相似度/聚类压缩」推进到「大规模有监督、指令驱动的时序定位」，为 Video-LLM 的帧采样提供了一个可插拔、可迁移的通用模块，后续在长视频理解与高效推理方向的工作可以直接复用 VideoITG-40K 数据集或其三段式自动标注思路来构建自己的采帧监督信号。

局限与不足

VideoITG 的标注质量完全依赖 GPT-4o 等 LLM/VLM 的链式推理能力，标注流水线本身没有人工校验环节，可能引入系统性偏差或幻觉，且高度依赖闭源模型的调用成本与稳定性。模型在 LongVideoBench 等偏文本指代型任务上收益有限，作者也承认这类任务增加帧数本身帮助不大；此外 VideoITG 目前采用较低分辨率的帧表示（每帧 16 个视觉 token），在需要精细视觉识别的场景下可能不够，论文也指出这是未来可改进的方向。受限于上下文长度，模型最多只处理 512 帧输入并默认选取 Top-32，对于更长、事件更密集的视频，该固定预算是否仍然充分尚未验证。