走向一对多时序定位：让模型学会数清视频里重复发生了几次 · Towards One-to-Many Temporal Grounding

原文摘要 · English Abstract

Temporal Grounding (TG) aims to localize video segments corresponding to a textual query. Prior research predominantly focuses on single-segment retrieval. Real-world scenarios, however, often require localizing multiple disjoint segments for a single query—a setting we term One-to-Many Temporal Grounding (OMTG). Previous state-of-the-art MLLMs, optimized for one-to-one settings, struggle in this context, often yielding near-zero scores due to a lack of event cardinality perception. To bridge this gap, we present a systematic solution with three key contributions. First, we establish the first comprehensive OMTG benchmark, introducing Count Accuracy (C-Acc) and Effective Temporal F1 (EtF1) as evaluation metrics. Second, we curate a high-quality OMTG dataset comprising 56k samples through a sophisticated construction pipeline. Third, we develop novel temporal and caption reward functions specifically designed for OMTG. In particular, the caption reward leverages Chain-of-Thought reasoning over dense video captions to explicitly guide policy optimization toward both preciseness and completeness. Extensive experiments show our model achieves a new state-of-the-art EtF1 of 43.65, substantially outperforming both proprietary and open-source baselines.

概要

时序定位（Temporal Grounding）此前只研究「一句话查询对应视频里唯一一段」的情形，但现实视频里同一动作常常重复出现多次。本文首次系统提出「一对多时序定位」（OMTG）任务：给定查询，要找出视频里所有语义一致的不连续片段，既要位置准，又要数量对。作者构建了首个OMTG评测基准与56k样本的高质量训练数据，设计了专门衡量「数量感知」与「时序精度」的新指标，并用SFT+强化学习两阶段训练出OMTG-4B模型，数出事件个数和定位边界两方面都大幅超过现有模型。

传统时序定位方法（无论基于视觉编码器加任务头，还是近年基于MLLM的指令微调）都建立在「一个查询对应一个真实片段」的假设上，评测也普遍用R@1、tIoU等只需检出单一正确片段即可打满分的指标。但真实视频天然具有重复性：同一语义动作可能在多个不相邻时段多次出现。一对一指标无法区分「漏检」「多检」和「把相邻事件误合并」，现有模型在这种设置下几乎得零分，暴露出缺乏「事件基数感知」能力。

关键贡献

首次将「一对多时序定位」（OMTG）形式化为一个集合生成任务，并指出现有R@1/tIoU等一对一指标在该场景下失效
提出Count Accuracy（C-Acc）和Effective Temporal F1（EtF1）等新指标，将事件计数正确性与时序定位质量联合评估
构建首个OMTG评测基准（340条人工核验样本）和56k规模的高质量OMTG训练数据集，并设计四阶段自动化数据构建流水线
设计包含tIoU、C-Acc、Caption、Length四项的复合奖励函数，配合GRPO强化学习训练，其中Caption奖励利用带思维链的密集字幕引导策略优化
实验证明该一对多训练范式不会牺牲传统一对一定位性能，反而能提升其泛化能力

方法详解（完整做法）

总体思路

本文把「一对多时序定位」形式化为一个由MLLM直接生成结构化文本的生成任务：模型读入视频和查询后，先输出带思维链的密集事件描述，再从中解析出一组预测片段；训练分两步——先用56k条高质量标注数据做SFT，让模型学会「先描述、再定位」的推理格式，再用GRPO强化学习，通过一套复合奖励函数同时校正定位精度、事件计数和描述质量。整个方案由「任务定义→评测指标→数据构建→两阶段训练→奖励设计」五个环节串联起来。

任务定义：从一对一到一对多

给定视频 $V=\{f_t\}_{t=1}^{T}$ 和文本查询 $Q=\{w_l\}_{l=1}^{L}$ ，模型学习映射函数 $\mathcal{F}_\theta$ 直接生成自然语言响应，再通过确定性解析函数 $\phi(\cdot)$ 抽取预测片段集合：

$Y=\mathcal{F}_\theta(V,Q),\qquad \mathcal{P}=\phi(Y)=\{(\hat{s}_m,\hat{e}_m)\}_{m=1}^{M}$

真实标注给出 $\mathcal{G}=\{(s_k,e_k)\}_{k=1}^{K}$ ，其中 $K\geq 1$ 。学习目标要求预测集合 $\mathcal{P}$ 在数量（ $M=K$ ）和时序边界两方面都与 $\mathcal{G}$ 吻合——这与一对一设置下只需检出唯一正确片段完全不同，是本文区别于以往工作的根本出发点。

评测指标体系：为什么R@1/tIoU不够用

一对一场景下，正确检出唯一片段自然同时满足精度和召回，R@1、tIoU足够。但一对多场景下，高召回可能只是覆盖了部分真实片段却掩盖了冗余或幻觉预测；更棘手的是，如果模型把两个被短间隔分开的独立事件误合并成一段，tIoU仍可能很高（如0.9），却完全没能区分出多个实例、计数彻底错误。这说明必须把「实例级覆盖度」和「预测正确性」解耦，显式衡量精度、召回并联合计数正确性——这正是本文设计C-Acc和EtF1这两个新指标背后的直觉。

基于匈牙利匹配的时序F1与计数准确率

作者先用匈牙利算法在IoU阈值 $\xi$ 下求预测集合与真实集合间最大化总IoU的最优双射匹配，再据此定义实例级时序精度 $tP_i@\xi$ 与召回 $tR_i@\xi$ ，进而得到时序F1：

$tF1@\xi=\frac{1}{N}\sum_{i=1}^{N}2\cdot\frac{tP_i@\xi\cdot tR_i@\xi}{tP_i@\xi+tR_i@\xi}$

计数准确率则直接统计预测片段数与真实片段数完全一致的样本比例：

$\text{C-Acc}=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}(M_i=K_i)$

有效时序F1（EtF1）：把计数当作门控

为了同时惩罚定位不准和计数错误，作者把计数一致性指示函数作为「门」，只有当预测片段数恰好等于真实片段数时才计入该样本的F1分数，并在多个IoU阈值上取平均：

$\text{EtF1}=\frac{1}{N\cdot|\Xi|}\sum_{\xi\in\Xi}\sum_{i=1}^{N}\mathbf{1}(M_i=K_i)\cdot\frac{2\cdot tP_i@\xi\cdot tR_i@\xi}{tP_i@\xi+tR_i@\xi}$

其中 $\Xi=\{0.3,0.5,0.7\}$ 。这一设计的关键在于「门控」而非简单加权：只要计数错了整条样本直接归零，这比单纯把C-Acc和F1相加更严格，逼迫模型必须先数对个数才能拿分，从根本上抑制了「模型靠碰运气覆盖部分片段刷分」的可能性。

四阶段自动化数据构建流水线

训练数据来自Cosmos-Cap、Moment-10M、VTimeLLM等原始视频，经五个阶段处理为56k条高质量样本：Qwen3-VL-235B先扫描视频发现重复事件并生成查询（阶段1）；Gemini 2.5 Pro对查询做初步一对多定位得到候选时间戳（阶段2）；把候选片段裁剪回原片，用Qwen3-VL-235B做「全对或全不对」的严格视觉核验，任一片段验证失败则整条样本作废（阶段3）；再用Gemini 2.5 Pro做召回检查与查询语言的精炼（阶段4）；最后用Qwen3-VL-235B在精炼查询指导下生成密集事件字幕，为后续思维链推理和字幕奖励提供基础（阶段5）。最终得到46k条SFT数据和10k条RL数据。

复合奖励函数与GRPO强化学习

SFT之后模型具备了「先描述后定位」的推理格式，但精度与完整性之间的权衡仍需强化学习进一步校正。作者用GRPO优化一个四项复合奖励：

$R=\lambda_1 R_{\text{tIoU}}+\lambda_2 R_{\text{C-Acc}}+\lambda_3 R_{\text{Caption}}+\lambda_4 R_{\text{Length}}$

其中 $\lambda_1=\lambda_2=\lambda_3=0.5,\ \lambda_4=-0.3$ 。 $R_{\text{tIoU}}$ 和 $R_{\text{C-Acc}}$ 分别沿用前述指标定义，直接监督时序边界与事件计数；字幕奖励 $R_{\text{Caption}}=\alpha\cdot S_{\text{cq}}+(1-\alpha)\cdot S_{\text{cgg}}$ 用Qwen3-30B-A3B作裁判，一部分给出覆盖度、精度、区分度三维度的字幕质量分 $S_{\text{cq}}=\mu_1 S_{\text{cov}}+\mu_2 S_{\text{prec}}+\mu_3 S_{\text{disc}}$ ，另一部分让裁判仅凭生成的字幕（不看视频）尝试定位事件时间戳、与真实标注比tF1得到 $S_{\text{cgg}}$ ，检验字幕是否携带了足以独立支撑定位的语义信息；长度惩罚 $R_{\text{Length}}$ 则抑制冗长字幕稀释查询相关的时序线索。字幕奖励的设计直觉是：如果模型必须靠自己生成的中间描述就能被裁判「反推」出正确时间戳，说明它确实理解了事件的时序结构，而不只是背答案。

小结

OMTG的关键不在于定位算法本身有多复杂，而在于用「计数门控」的评测协议、严格核验的数据流水线和以密集字幕为中介的强化学习奖励，逼迫模型同时学会「数清楚」和「定位准」这两件在一对一设置下从未被分开考验过的能力。

实验与关键数据

作者在自建OMTG Bench（340条人工核验样本）上评测多个开源与商用MLLM，并在TimeLens-Bench上评测传统一对一定位性能。骨干为Qwen3-VL-4B，先做SFT再用GRPO强化学习。现有模型在OMTG上普遍接近零分，OMTG-4B在两类基准上均取得最优结果，且RL进一步提升了一对一定位性能。

关键数据

OMTG Bench EtF1

43.65

vs Seed-1.8 28.04（+15.61）

OMTG Bench C-Acc

55.63

vs Gemini-2.5-Pro 50.94（+4.69）

OMTG Bench tIoU

61.24

vs Seed-1.8 56.81（+4.43）

RL阶段 vs SFT阶段 EtF1

43.65

vs SFT阶段 34.81（+8.84）

OMTG训练数据规模

56k条样本

TimeLens-Bench QVHighlights tIoU（OMTG-4B RL）

62.2

vs Qwen3-VL-8B 59.4（+2.8）

影响与局限

OMTG是对时序定位任务范式的一次结构性扩展：此前所有工作都默认「查询→单一片段」，本文首次系统指出这一假设在真实视频中普遍失效，并提供了可复用的评测协议、数据构建流水线与奖励设计范式。其思路——用「计数门控」的F1指标同时约束定位精度与实例基数——为后续处理重复、周期性事件的视频理解任务提供了直接可借鉴的评测与训练框架。

局限与不足

OMTG Bench目前规模仍偏小（340条人工核验样本），且真实片段数分布不均衡（62.2%样本片段数集中在较小范围），对极端多实例（如20个片段）场景的评测覆盖有限；评测指标EtF1的门控设计虽然严格，但对「计数差1」和「计数差10」的样本一视同仁地归零，可能无法细粒度反映模型在计数误差上的相对优劣；字幕奖励依赖LLM-as-Judge（Qwen3-30B-A3B）打分，其判断本身存在噪声和主观性，可能引入训练偏差；此外RL阶段仅用10k条OMTG数据训练，未与一对一数据混合，虽然实验显示其对一对一任务有正向迁移，但这一泛化能力的稳定性和边界尚未在更多骨干模型或更大规模数据上得到验证。