FlashVID：基于树状时空令牌合并的免训练视频大模型加速方法 · FlashVID: Efficient Video Large Language Models via Training-free Tree-based Spatiotemporal Token Merging

原文摘要 · English Abstract

Although Video Large Language Models (VLLMs) have shown remarkable capabilities in video understanding, they are required to process high volumes of visual tokens, causing significant computational inefficiency. Existing VLLMs acceleration frameworks usually compress spatial and temporal redundancy independently, which overlooks the spatiotemporal relationships, thereby leading to suboptimal spatiotemporal compression. The highly correlated visual features are likely to change in spatial position, scale, orientation, and other attributes over time due to the dynamic nature of video. Building on this insight, we introduce FlashVID, a training-free inference acceleration framework for VLLMs. Specifically, FlashVID utilizes Attention and Diversity-based Token Selection (ADTS) to select the most representative tokens for basic video representation, then applies Tree-based Spatiotemporal Token Merging (TSTM) for fine-grained spatiotemporal redundancy elimination. Extensive experiments conducted on three representative VLLMs across five video understanding benchmarks demonstrate the effectiveness and generalization of our method. Notably, by retaining only 10% of visual tokens, FlashVID preserves 99.1% of the performance of LLaVA-OneVision. Consequently, FlashVID can serve as a training-free and plug-and-play module for extending long video frames, which enables a 10× increase in video frame input to Qwen2.5-VL, resulting in a relative improvement of 8.6% within the same computational budget. Code is available at https://github.com/Fanziyang-v/FlashVID.

概要

视频大模型（VLLM）处理长视频时视觉令牌数量巨大，自注意力开销随序列长度平方增长。已有的免训练加速方法通常把空间冗余和时间冗余分开压缩，但视频中语义相同的内容会随运动发生位置、尺度、朝向的变化，刚性的帧间空间对应会把不相关的令牌错误合并。FlashVID 提出先用「注意力-多样性令牌选择」（ADTS）挑出每帧中既重要又多样的代表性令牌，再用「树状时空令牌合并」（TSTM）沿相邻帧相似度动态构建合并树，联合建模空间与时间冗余，从而在大幅削减令牌数的同时保住关键语义信息，全程无需任何训练。

VLLM 推理开销主要集中在 LLM 主干，视觉令牌数量 $n_v$ 常比文本令牌高几个数量级，是压缩重点。现有免训练加速框架多按「分组帧→依据 [CLS] 注意力选帧内代表令牌→片段级时空压缩」三段式流水线，把时间冗余压缩建立在「固定空间位置特征一致」的假设上。但视频中语义相似的内容常因运动、尺度、视角变化而发生空间漂移，刚性对应的时间令牌合并会把不相关令牌错误合并、扭曲视频表示。

关键贡献

指出现有令牌压缩方法把空间、时间冗余解耦处理，无法适应视频内容随时间变化的动态特性，导致压缩效果次优。
提出树状时空令牌合并（TSTM），通过在相邻帧间按相似度动态连边构建时空冗余树，联合建模空间与时间冗余，避免刚性帧间对应带来的误合并。
提出注意力-多样性令牌选择（ADTS），将令牌筛选建模为校准过的最大-最小多样性问题，兼顾令牌重要性与特征多样性。
在三个代表性 VLLM、五个视频理解基准上验证方法有效性，仅保留10%视觉令牌即可保留 LLaVA-OneVision 99.1% 的性能。
证明该方法可作为即插即用模块扩展视频输入帧数，在相同计算预算下让 Qwen2.5-VL 处理10倍帧数并带来8.6%的相对性能提升。

方法详解（完整做法）

总体思路

FlashVID 是一个无需训练、即插即用的视频大模型加速框架，包含两个协同模块：给定视觉编码器输出的视频特征 $E_v\in\mathbb{R}^{F\times N_v\times d}$ （ $F$ 帧、每帧 $N_v$ 个令牌），先用注意力-多样性令牌选择（ADTS）在每帧内挑出兼具重要性与多样性的代表性令牌集合 $I$ ，剩余令牌 $R$ 再交给树状时空令牌合并（TSTM），按相邻帧相似度动态构建「时空冗余树」并聚合合并，最终把代表性令牌与合并后的紧凑令牌拼接，送入 LLM 完成后续的预填充和自回归解码。

关键观察：时空冗余为何不能解耦压缩

论文提炼出两点观察：其一，时间冗余并不绑定于固定空间位置——由于运动和场景变化，语义一致的视觉元素在相邻帧间常常发生位置、尺度或外观上的偏移，依赖刚性空间对应做时间压缩并不可靠；其二，空间冗余与时间冗余本质上是耦合的——一帧内的冗余区域往往在多帧间持续存在。这意味着把空间压缩和时间压缩分开处理会忽视二者的内在联系，从而导致压缩效果次优，这正是设计统一时空压缩机制的出发点。

树状时空令牌合并（TSTM）：从相邻帧相似度到冗余树

TSTM 先计算相邻帧视觉特征间的余弦相似度矩阵，衡量第 $f$ 帧第 $j$ 个令牌与第 $f+1$ 帧第 $k$ 个令牌的相似程度：

$S^{(f)}=\cos\!\left(E_v^{(f)},E_v^{(f+1)}\right)\in\mathbb{R}^{N_v\times N_v}$

每个令牌只与前一帧中相似度最高、且超过合并阈值 $T_\tau$ 的对应令牌连边；如此逐帧推进，链式连接起来的令牌就构成一棵「时空冗余树」，树的形状会随视频内容动态变化，而不是固定的网格对应关系，从而能捕捉细粒度的时空动态。

冗余树聚合：从树到压缩表示

构树完成后，同一棵树内的所有令牌被视作同一时空冗余单元，通过聚合函数（如均值池化）压缩为一个紧凑表示：

$c(i)=\mathrm{Agg}\big(T^{(i)}\big)$

其中 $T^{(i)}$ 是第 $i$ 棵时空冗余树。由于树的连接完全由帧间相似度动态决定，合并的令牌数量和位置会随场景运动自适应变化；论文也尝试过限制树的深度和宽度以避免合并时空上过于疏远的令牌，但实测收益可忽略，因此最终版本不施加这类约束。

注意力-多样性令牌选择（ADTS）：校准的最大-最小多样性问题

直接对原始、含噪的视频特征构建冗余树容易偏向数量多但不重要的视觉内容。为此 ADTS 先在每帧内求解一个「最大-最小多样性问题」（MMDP），基于帧内令牌两两余弦距离矩阵挑出彼此差异最大的多样化子集：

$D^{(f)}=1-\cos\!\left(E_v^{(f)},E_v^{(f)}\right)\in\mathbb{R}^{N_v\times N_v}$

但仅追求多样性可能漏掉真正重要的信息，因此 ADTS 引入两个校准项后再求解：

$I=\mathrm{MMDP}\big(D,\,A_{[CLS]},\,\bar S_e\big)$

[CLS] 注意力与事件相关性两项校准

第一个校准项是 [CLS] 注意力：从视觉编码器的注意力矩阵 $A=\mathrm{Softmax}(QK^\top/\sqrt{d})\in\mathbb{R}^{F\times N_v\times N_v}$ 中，对没有显式 [CLS] token 的编码器（如 SigLIP），取每个令牌在本帧内被关注的平均权重作为 $A_{[CLS]}$ ，突出帧内信息量大的令牌。第二个校准项是事件相关性：先对每帧特征做全局平均池化得到帧级嵌入 $f_v=\mathrm{GAP}(E_v)$ ，再计算令牌与各帧全局语境的相似度均值 $\bar S_e=\frac1F\sum_{i=1}^F (E_v\cdot f_v^\top)[:,:,i]$ ，衡量令牌与整段视频事件的关联程度。两项校准分别从「局部显著性」和「全局事件相关性」两个角度弥补纯多样性选择的盲区。

小结

FlashVID 的关键在于把「先挑代表性令牌、再按动态时空相似度合并冗余」拆成 ADTS 和 TSTM 两个互补阶段：前者保证不丢失重要语义，后者用树结构而非刚性网格对应去联合建模空间与时间冗余，这正是它优于以往解耦式时空压缩方法的根本原因。

实验与关键数据

实验在 VideoMME、EgoSchema、LongVideoBench、MVBench、MLVU 五个视频理解基准上评测三个 VLLM，并与 FastV、VisionZip、PruneVID、FastVID 四个免训练基线在多个保留比例下对比，FlashVID 几乎全面取得最优相对精度和加速比。

关键数据

LLaVA-OneVision R=10% 平均相对精度

99.1%

vs FastVID 97.8%（+1.3）

Qwen2.5-VL 10×帧数(160帧)固定算力下相对精度

108.6%

vs 16帧原始基线 100.0%（+8.6）

LLaVA-OneVision 预填充(Prefilling)加速比

6.3×

vs FastVID(25%保留) 4.0×（+2.3）

ADTS消融：四基准平均相对精度

99.1%

vs 仅用多样性选择DTS 97.1%（+2.0）

α消融：ADTS+TSTM协同(α=0.7)相对精度

99.1%

vs 仅用TSTM(α=0) 97.4%（+1.7）

影响与局限

FlashVID 把视频令牌压缩的关注点从「帧内空间冗余+帧间时间冗余各自处理」转向「用树结构显式联合建模时空冗余」，为免训练 VLLM 加速提供了一条兼顾精度与效率的新路径。其「先选代表性令牌、再动态合并冗余」的两阶段设计，以及用固定算力预算换取更长视频帧输入的思路，为后续长视频理解与推理加速工作提供了可直接复用的模块化范式。

局限与不足

TSTM 依赖逐帧间的贪心最近邻连边和相似度阈值 $T_\tau$ 构建冗余树，阈值需要人工设定且论文未对不同视频内容自适应调整；由于是按阈值合并而非固定预算，实验中仍需额外结合 DPC-kNN 做帧内压缩才能对齐各基线的令牌预算，说明 TSTM 本身难以精确控制压缩率。此外，ADTS 求解 MMDP 以及 TSTM 逐帧构建冗余树都需要额外的推理时开销：效率实验显示 FlashVID 的压缩阶段耗时（60.2ms）反而高于 FastVID（28.6ms），只是靠更激进的令牌保留比例在总时延上仍占优；当保留比例进一步降低或视频运动极其剧烈时，基于相似度阈值的树结构合并能否稳定保留关键细粒度动态，论文也未做更极端场景下的系统性分析。