Enrich and Detect: Video Temporal Grounding with Multimodal LLMs先增强、再检测：用多模态大语言模型做视频时序定位

视频时序定位要求把一句自然语言查询对应到视频里的一段时间区间，但真实数据集里的查询往往含糊、不完整（如「男人开始冲浪」），这限制了定位精度。本文提出 ED-VTG，把定位拆成「查询增强」与「区间检测」两阶段，用同一个多模态 LLM 先把查询补全成含更多视觉细节的描述，再用轻量级解码器把描述回归成精确起止时间。为应对增强描述可能出现的幻觉噪声，训练时引入多示例学习，让模型自己挑选原始查询与增强查询中效果更好的一个作为监督信号。

此前基于 LLM 的时序定位方法主要有两类：把时间戳当作原始文本 token 输出，或者给 LLM 词表添加成百上千个专门表示帧位置的特殊 token；两者都让 LLM 直接承担精确回归的职责，定位精度普遍不及专门在有限数据集上训练的专家检测模型，且这些专家模型泛化能力和零样本表现有限。同时，视频描述与时序定位互为对偶任务，但此前研究大多分开处理或只做多任务联合训练，没有探索用生成更详细描述的方式反过来提升定位精度。

关键贡献

• 提出级联式时序定位框架：LLM 先基于视频内容把语言查询增强为更详细的描述，再对增强查询做定位
• 设计轻量级区间解码器，让 LLM 只需输出一个特殊的 <INT> 隐藏状态，检测任务交给专门的 L1+gIoU 回归头完成
• 提出多示例学习（MIL）训练范式，让模型在训练中自动选择原始查询或增强查询中定位损失更小的一个作为监督目标
• 证明离线数据增强（训练前一次性生成增强查询）不如在线的增强-检测联合学习，因为推理时无法获取真实时间区间来生成增强查询
• 在单查询定位、视频段落定位、问题定位、文章定位四类任务上取得新的 SOTA，是首个全面超越或匹配专家模型的 LLM 定位方法

总体思路

ED-VTG 把时序定位拆成「先修好语言、再交给专门检测器」两步，用同一个多模态 LLM 串联起来：给定视频 $\mathcal{V}$ 和原始查询 $Q$，视觉编码器先把视频编码成一串视觉 token，LLM 结合视觉 token 与查询 token 自回归地生成一个更详细的「增强查询」$\hat Q^{enr}$；当 LLM 认为描述已经足够精确、可以定位时，输出一个特殊的 <INT> token，其对应的隐藏状态被送入一个轻量级区间解码器，回归出中心-宽度参数化的时间区间。整条链路端到端训练：语言生成损失监督「增强」，检测损失监督「定位」，并用多示例学习（MIL）让模型自己判断该用原始查询还是增强查询来做监督目标，以降低伪标签幻觉带来的噪声。

查询增强（Enrich）

视觉编码器把含 $T$ 帧的视频表示为 $R$ 个视觉 token $\mathbf{T}_\mathrm{V}\in\mathbb{R}^{R\times D}$，与查询 token $\mathbf{T}_\mathcal{Q}$ 一起送入 LLM，逐 token 自回归地生成增强查询 $\hat Q^{enr}$：

$$\hat{y}_l = \mathcal{F}_\mathrm{LLM}(\hat{y}_{<l}, \mathbf{T}_\mathrm{V}, \mathbf{T}_\mathcal{Q})$$

生成的完整文本形式为「查询 $\hat Q^{enr}$ 发生在 <INT>」，<INT> 是一个专门引入的特殊 token，用来触发后续的区间预测，而不是让 LLM 直接输出坐标数字。

区间解码器（Detect）

为了避免让 LLM 承担精细数值回归的任务，模型引入一个轻量级区间解码器 $\mathcal{F}_\mathrm{dec}$，输入是 <INT> token 的隐藏状态经线性投影后与视觉 token 的拼接，输出以中心和宽度参数化的时间区间：

$$\hat{\mathbf{I}} = (\hat{c}, \hat{w}) = \mathcal{F}_\mathrm{dec}\left( \mathcal{G}(\mathbf{h}_\mathrm{int}), \mathbf{T}_\mathrm{V} \right)$$

解码器由两层 Transformer 加一个 MLP 组成，选用中心-宽度参数化是延续目标检测领域「解耦位置与尺度」的经验做法。

为什么级联依赖是关键

模型的核心设计在于建立起 $(V,Q)\rightarrow\hat Q^{enr}$ 与 $(V,\hat Q^{enr})\rightarrow\hat I$ 这条依赖链：由于 <INT> token 的隐藏状态是在增强查询生成完毕之后才产生的，增强查询的质量会直接影响这个隐藏状态、进而影响预测区间的准确度。这与「离线增强」不同——如果增强查询是训练前一次性生成好、直接拼进输入，模型在推理时因为没有真实区间信息可用而无法执行同样的增强，性能反而更差（消融实验证实了这一点）。只有让模型在训练和推理时都亲自完成「生成增强描述→据此定位」这一串联过程，增强查询才能真正在测试时发挥作用。

训练目标：语言损失与检测损失

语言生成部分用标准交叉熵监督增强查询的逐 token 预测，其伪标签由外部字幕模型（LLaVA-OV 72B）在给定真实时间区间对应的视频片段条件下生成：

$$\mathcal{L}_\mathrm{LM} = -\sum_{l=1}^{L} \log P(y_l \mid \mathbf{y}_{<l}, \mathbf{T}_\mathrm{V}, \mathbf{T}_\mathcal{Q})$$

检测部分用 L1 与广义 IoU（gIoU）损失的组合来监督预测区间与真实区间的中心、宽度差异：

$$\mathcal{L}_\mathrm{grnd} = \lambda_\mathrm{L1} \left(|\hat{c}-c| + |\hat{w}-w|\right) + \lambda_\mathrm{gIoU}\, \mathrm{gIoU}\big((\hat{c},\hat{w}),(c,w)\big)$$

多示例学习（MIL）动态选择查询

由于外部字幕模型生成的增强查询可能出现幻觉、不保证总是比原始查询更利于定位，模型分别用原始查询 $Q$ 和增强查询 $Q^{enr}$ 做两次教师强制前向，得到两组区间预测 $\hat{\mathbf{I}}^\mathrm{dir}$ 与 $\hat{\mathbf{I}}^\mathrm{enr}$，训练时选取检测损失更小的一路来计算总目标：

$$\mathcal{L} = \begin{cases} \lambda_\mathrm{LM}\mathcal{L}_\mathrm{LM}^\mathrm{dir} + \lambda_\mathrm{grnd}\mathcal{L}_\mathrm{grnd}^\mathrm{dir} & \text{if } \mathcal{L}_\mathrm{grnd}^\mathrm{dir} < \mathcal{L}_\mathrm{grnd}^\mathrm{enr} \\ \lambda_\mathrm{LM}\mathcal{L}_\mathrm{LM}^\mathrm{enr} + \lambda_\mathrm{grnd}\mathcal{L}_\mathrm{grnd}^\mathrm{enr} & \text{otherwise} \end{cases}$$

这样模型在推理时既可以选择对原始查询做进一步增强，也可以在查询已经足够具体时直接「原样保留」（令 $Q=\hat Q^{enr}$），不必依赖一个固定不变的增强策略。

小结

ED-VTG 真正的关键不是「加一个字幕模型」，而是把增强查询的生成嵌入到定位的因果链条里、并用 MIL 让模型自己学会判断何时该增强、何时该直接定位，从而把 LLM 的语言生成能力转化为检测精度的提升。

在 8 个数据集（136K 样本）预训练后，于单查询定位、段落定位、问题定位、文章定位共 9 个基准上评测零样本与微调两种设置。结论：ED-VTG 全面超越此前基于 LLM 的定位方法，部分指标逼近甚至超过专家模型，消融也证实增强查询与 MIL 训练范式均带来实质性增益。

关键数据

该工作首次把「视频描述」与「时序定位」这对偶任务在同一个多模态 LLM 里联合建模，证明生成式描述能力可以直接反哺检测精度，为后续把 LLM 的语言生成优势和专用检测头的定位精度结合的时序定位/视频理解工作提供了一个可复用的级联范式。

局限与不足

模型依赖外部字幕模型（LLaVA-OneVision 72B）离线生成增强查询的伪标签，该字幕模型本身存在幻觉风险，训练质量受限于其标注准确性；MIL 框架只是缓解而非消除了这一噪声问题。此外论文在段落定位、文章定位等多查询场景下需要多次前向传播来执行 MIL，带来额外的训练算力开销。作者也承认模型在处理长视频中的小物体、被遮挡目标时仍会出现定位失败案例，说明视觉编码器固定帧数输入对细粒度、长时依赖场景的表达能力仍有瓶颈。