STORM: End-to-End Referring Multi-Object Tracking in VideosSTORM：端到端视频指代多目标跟踪

指代多目标跟踪（RMOT）要把视频里符合一句自然语言描述的对象全部找出并逐帧串成轨迹。此前做法把「按语言定位」与「跨帧维持身份」拆成两个模块，两段间信息不通，遇到关系式、因果式描述就崩。本文提出 STORM，第一个把定位与跟踪合进单个 MLLM 的端到端框架：NaViT 视觉编码器抽逐帧 token，投影进文本空间后交给 8B 解码器自回归吐出结构化坐标文本，不需要外部检测器或跟踪器。为绕开 RMOT 标注稀缺，作者提出任务复合学习（TCL）：先在大规模图像定位与单目标跟踪数据上打底，再用少量 RMOT 数据微调。

指代跟踪早期只做单目标（RSOT）：给一句话跟住一个目标，无法处理多目标之间用关系、位置或共同属性来描述的情形。扩展到 RMOT 后，主流方案是在专用检测器上挂文本编码器，或把 MLLM 降格为语义编码器再外接跟踪头，定位与关联仍是两个独立模块，语言里的因果与关系依赖传不到跟踪环节。更棘手的是数据：RMOT 需要逐帧框标注加覆盖多对象的描述，成本极高，现有数据集要么只有 KITTI 式的交通两类目标，要么表达过短、覆盖不全。

关键贡献

• 提出 STORM，第一个完全端到端的指代多目标跟踪 MLLM 框架，把语言指代定位与跨帧身份关联统一在单个模型内，不再依赖任何外部检测器或跟踪器。
• 提出任务复合学习（TCL）策略，把 RMOT 拆解为图像指代定位与目标跟踪两类数据充足的子任务，先学基础能力再用少量 RMOT 数据微调，大幅降低对 RMOT 专用标注的依赖。
• 构建并发布了一个高质量 RMOT 数据集，通过自下而上的标注流水线生成 0.2M 条多样化指代表达式与 73.7K 个带轨迹的对象，修正了既有数据集里表达歧义与标注错误的问题。
• 设计了对象级描述生成与验证、多对象表达式合成与校验的两阶段标注流程，用 MLLM 交叉验证取代非语义的置信度阈值过滤，保证表达与目标一一对应。
• 在图像定位、单目标/指代单目标跟踪、指代多目标跟踪三类基准上均取得当时最优结果，RMOT 上以 +21.2 HOTA 大幅超越所有已有方法。

总体思路

STORM 把指代多目标跟踪整个收进一个 LLaVA 式的多模态大模型：输入是一段视频的逐帧画面和一句指代表达式，输出直接是一串结构化的坐标文本。流程上，NaViT 视觉编码器逐帧抽取视觉 token，经两层 MLP 投影器映射进文本嵌入空间；这些视觉 token 与表达式文本 token 拼接后送入 LLaMA 式解码器，模型自回归地生成形如「Object 1: Frame 1: [x1, y1, x2, y2], Frame 2: [...]」的回答，每个对象一条轨迹。整个框架里没有检测器、没有跟踪头、也没有匈牙利匹配这类后处理，定位与跨帧关联都由同一组解码器权重在一次前向里完成。训练则依靠任务复合学习，先在海量图像定位与单目标跟踪数据上打底，再用少量本文新数据带思维链微调，把稀疏的 RMOT 标注换成可大量获取的子任务监督。

问题定义与输出形式

给定 $T$ 帧视频 $\mathcal{V}=\{I_t, t\in\{1,\dots,T\}\}$ 与一句指代表达式 $\mathcal{R}$，模型要输出全部 $K$ 个被指代对象在每个时刻的空间位置：

$$\mathcal{B}=\{B_t^k \mid t\in\{1,\dots,T\},\; k\in\{1,\dots,K\}\}$$

输出格式被固定成纯文本，第 $k$ 个对象写成「Object k: Frame 1: [x1, y1, x2, y2], Frame 2: [...]」，其中四元组是绝对坐标。对象因遮挡或镜头移动而暂时消失时，模型输出一个空框表示该帧不可见——这条约定让轨迹在时间轴上保持连续占位，下游无需再做插值。整套提示词模板为「<video> Please locate all objects in the video based on this expression: [referring expression].」，训练与推理保持一致。

一句表达式对应多个对象

RMOT 与单目标跟踪的关键差别在于表达式的基数不固定：一句描述可能只指一个对象，也可能指共享某属性的整组对象，甚至指用连词串起的若干互不相干的目标。形式上，模型要自行决定 $K$ 与表达式之间的对应关系，而不是接受一个给定目标：

$$\mathcal{R}\;\longmapsto\;\{B_t^{1},\dots,B_t^{K}\},\qquad K \text{ 由模型依据 } \mathcal{R} \text{ 自主判定}$$

这也是端到端输出相对拼装式方案的优势所在——「到底有几个目标」这一步判断发生在语言解码过程内部，模型可以结合属性、空间关系与时间上下文共同推理，而不是先由检测器给出候选框再事后筛选。

自回归训练目标

既然输出是文本，训练就退化成标准的下一个 token 预测。模型参数 $\theta$ 在给定视频 token 与表达式 token 的条件下，最大化整段坐标序列 $y$ 的对数似然：

$$\mathcal{L}=-\sum_{t=1}^{L}\log p_\theta\big(y_t \mid y_{<t},\; \mathcal{V},\; \mathcal{R}\big)$$

这个选择的深意在于，模型不需要为「框回归」额外设计头或损失，所有关于框与对象编号的约束都通过语言模型的输出分布隐式习得；同时因为坐标以文本形式出现，LLM 预训练阶段学到的结构化解码能力可以直接复用，这也是它能省掉外部检测器的前提。

任务复合学习（TCL）

RMOT 的逐帧框加多对象描述极其昂贵，直接从头训一个 MLLM 不现实。TCL 的思路是拆解任务：RMOT 无非是「按描述定位」与「跨帧保持身份」两件事的组合，而这两件事各自都有大规模数据。第一阶段在大规模指代图像定位数据上训练，建立外观线索与语言描述之间的跨模态对齐；同时混入大规模单目标跟踪数据，让模型学会时间一致性与运动表征；再加入指代单目标跟踪数据，把前两种能力缝合成语言引导的跟踪。第二阶段才用本文数据集做微调。

思维链微调与阶段性监督

第二阶段的微调不是直接喂答案，而是引导模型先生成中间推理痕迹：先在首帧把被描述的对象定位出来，再沿时间轴逐个把它们的框写下去，最后才输出结构化的坐标。这种思维链监督的价值在于，它显式地把两个子任务的前后依赖关系写进了解码序列——模型必须先完成指代解析，才谈得上维持身份，这正好呼应 TCL 的分解结构。消融显示这一阶段的效果集中在 RMOT：只用本文数据直接训（Ours*）时 HOTA 仅 34.8，补上 TCL 后升到 66.7。

为什么用 NaViT 而非多裁切 ViT

视觉前端选了 NaViT，理由有两层。一层是它原生支持任意分辨率与宽高比，不会把输入激进地缩放——对定位任务来说，缩放直接损失坐标精度，而框的准确度正是 RMOT 的上游瓶颈。另一层是 token 效率：视频输入帧数乘上每帧 patch 数，序列本来就长，常见的多裁切 ViT 方案会成倍放大 token 数量，NaViT 的打包式编码在同等信息量下更省 token，长视频才跑得动。对长视频，作者把输入切成较短片段，用前一段预测的框作为下一段的提示来做轨迹拼接。

小结

真正关键的不是架构有多新，而是它证明了「用文本坐标输出把定位与关联合二为一」在 RMOT 上成立，并且用任务复合的训练顺序把多目标时空标注的成本压到了万级样本。

评测分三级递进：图像定位用 RefCOCO / RefCOCO+ / RefCOCOg，跟踪用 Elysium 的 500 段测试视频，指代多目标跟踪用本文新数据集，按 HOTA、IDF1、MOTA、IDsw 等 MOT 协议报告，骨干为 8B 基座加 NaViT。三类基准全部最优，RMOT 上的领先幅度远大于另两类。

关键数据

RMOT 长期被「检测器 + 文本编码器 + 跟踪器」的拼装式方案主导，语言理解与时空关联各管一段，性能天花板来自模块间的信息断层。STORM 把这条链路收进一个自回归 MLLM，证明纯文本坐标输出也能等价于检测加关联。更实用的是 TCL 这一训练配方：把昂贵的多目标时空标注成本换成「子任务预训练 + 少量微调」，并给出 12K 样本即饱和的缩放曲线。

局限与不足

论文本身有几处没讲透的地方。其一，端到端自回归输出逐帧框意味着推理成本随视频长度与对象数线性增长，长视频要靠切片段加提示拼接，这种做法在跨片段的目标身份保持上引入了额外误差，论文没有给出拼接失败的量化分析。其二，主表里 Ours* 只用了本文数据训练，HOTA 34.8，虽被解释为 TCL 的必要性证据，但也说明该框架对子任务预训练权重的依赖很强，换个基座或缺少那些大规模子任务数据时能否复现结论尚不清楚。其三，数据集构建流水线全依赖 MLLM 生成与验证，验证环节虽然用了三种视觉输入做交叉筛选，仍继承了生成模型的偏见与盲区，作者也只报告了保留机制而没给出丢弃率与残留错误率。其四，RMOT 训练数据在 12K 处饱和的结论建立在单一数据集与单一骨干上，泛化到其他场景或更大模型时是否成立仍待验证。