Enhancing Visual Token Representations for Video Large Language Models via Training-Free Spatial-Temporal Pooling and GriddingST-GridPool：面向视频大模型的免训练时空视觉 Token 增强方法

视频大模型把视觉编码器输出的帧 token 用简单的均匀池化或插值压缩后喂给语言模型，忽略了视频丰富的时空动态与画面区域间的语义差异。本文提出 ST-GridPool，一种完全免训练、可直接替换原有下采样模块的视觉 token 增强方法：先用金字塔时序网格化在多个时间粒度上融合帧间信息，再用基于范数的空间池化让语义丰富的区域获得更高权重。该方法不引入可学习参数，却能在 LLaVA-Video、LLaVA-OneVision 等主流视频大模型上稳定提升视频理解性能，同时降低推理时延与显存占用。

视频理解需处理成千上万个视觉 token，但自注意力的平方复杂度与语言模型上下文长度都严格限制 token 数量。LLaVA 系列等主流视频大模型普遍用简单 2D 池化或插值压缩 token，对时空维度一视同仁，既忽略多尺度时序动态，也不区分显著物体与背景的信息密度。SF-LLaVA、TS-LLaVA 等免训练技巧面向图像大模型设计，难以匹配视频大模型的快速演进，仍缺少专为视频大模型设计的免训练 token 增强方案。

关键贡献

• 提出首个专门面向视频大模型、完全免训练的视觉 token 增强方法，无需修改模型参数或重新训练即可提升视频理解性能。
• 设计金字塔时序网格化（PTG），通过多层级分段与网格拼接、插值生成分段摘要 token，捕获从短时微动到长时上下文的多粒度时空动态。
• 发现并利用视觉 token 的 L2 范数与其语义显著性正相关的经验规律，据此设计基于范数的空间池化（NSP），让高信息量区域在下采样中获得更高权重。
• 在 6 个视频理解数据集、多个主流视频大模型上进行大量实验，验证了方法在不同模型与数据集上的一致性能提升。
• 在相同 token 预算下与多种可学习式 token 压缩方法（FastV、PruMerge、FasterVLM、VisionZip、FrameFusion）对比，且在推理时延与显存占用上均取得优势。

总体思路

ST-GridPool 是一种完全无需训练、可即插即用嵌入现有视频大模型（如 LLaVA-Video、LLaVA-OneVision）的视觉 token 增强方法。它作用在视觉编码器输出的原始帧 token 序列上：先经过金字塔时序网格化（PTG）在时间维度上做多粒度信息融合，再经过基于范数的空间池化（NSP）在空间维度上做语义感知的加权下采样，最终把增强后、token 数不变或更少的视觉序列送入语言模型生成回答。两个模块串联工作、互不引入可学习参数，因此可以直接替换原模型里粗糙的均匀池化或双线性插值下采样步骤。

金字塔时序网格化（PTG）：多层级分段

视频里既有手部动作这类快速微动，也有行人走动这类缓慢位移，单一时间尺度的均匀拼接难以兼顾。PTG 把长度为 N 的帧 token 序列划分为 L 个层级，每层对应不同的分段长度：第 l 层的分段长度为 $K_l=K\cdot2^{l-1}$，分段数 $N_l=\lceil N/K_l\rceil$，层级越高覆盖的时间跨度越长。第 j 段的起始帧索引为：

$$t_{l,j} = (j-1)\cdot K_l,\quad j=1,2,\dots,N_l$$

例如 N=32、K=8、L=3 时，Level-1 分成 4 段（每段 8 帧）、Level-2 分成 2 段（每段 16 帧）、Level-3 只有 1 段（覆盖全部 32 帧），层层嵌套地覆盖不同粒度的时间窗口，从而同时建模短时动态与长时上下文。

分段摘要 token：网格拼接与双线性插值

对每个分段，PTG 先从中均匀采样 $m\times n$ 帧，采样索引为：

$$\{t_{l,j}+k\cdot\lfloor K_l/(mn)\rfloor\}_{k=0}^{mn-1}$$

再把这 $m\times n$ 帧的 token 网格沿空间方向拼接成一个 $mH\times nW$ 的大网格 $\mathbf{G}_{l,j}$，然后用双线性插值把它压缩回原始分辨率 $H\times W$，得到融合了该分段内多帧信息的「摘要 token」，并用它更新该分段最后一帧的 token：

$$\mathbf{T}_{t_{l,j}+K_l-1}\xleftarrow{\text{update}}\mathrm{Interp}(\mathbf{G}_{l,j})$$

这样，每个分段末尾的帧 token 不再只代表单帧画面，而是携带了整个分段的时空摘要信息，且不增加序列长度，为后续空间池化提供了更丰富的输入。

基于范数的空间池化（NSP）

在 PTG 更新过的 token 序列上，NSP 替换掉原本对空间网格一视同仁的均匀池化。对每个 $k_H\times k_W$ 的滑动窗口，先计算窗口内每个 token 的 $L_p$ 范数 $\|\mathbf{t}_{m,n}\|_p$，再用带温度系数 $\beta$ 的 softmax 把范数转成归一化权重：

$$\alpha_{m,n}=\frac{\exp(\beta\|\mathbf{t}_{m,n}\|_p)}{\sum_{i=0}^{k_H-1}\sum_{j=0}^{k_W-1}\exp(\beta\|\mathbf{t}_{i,j}\|_p)}$$

最终池化结果是窗口内 token 的加权和，而不是简单平均：

$$\mathbf{T}_i^\downarrow(h,w)=\sum_{m=0}^{k_H-1}\sum_{n=0}^{k_W-1}\alpha_{m,n}\cdot\mathbf{t}_{m,n}$$

为什么用 token 范数衡量语义重要性

作者在 HKU-IS 显著性目标检测数据集上做了验证性分析：图像里真正承载语义信息的显著物体通常只占画面一小部分，背景占了大部分空间，若用均匀池化，背景 token 与前景 token 权重相同，会稀释掉本就稀缺的前景信息。实验发现 token 的 L2 范数与其落在显著物体区域内的概率正相关——范数越大，越可能是语义丰富的区域。这个经验规律不需要额外训练或标注就能直接用 softmax 加权实现「谁重要就多保留谁」，是 NSP 敢用零参数方案替代可学习注意力池化的直接依据，也是本文相比传统均匀池化的核心洞察。

小结

ST-GridPool 的关键是把「时序多粒度网格化」和「空间范数加权池化」这两个零参数、零训练的先验结合起来，仅用插值与 softmax 权重就能获得接近甚至超过可学习式 token 压缩方法的效果。

以 LLaVA-OneVision-7B、LLaVA-Video-7B 为骨干，在 VideoMME、LongVideoBench、EgoSchema 等 6 个长视频与通用视频基准上评测，ST-GridPool 全部数据集一致提升，同等 token 预算下优于 FastV、VisionZip、FrameFusion。

关键数据

ST-GridPool 把「训练无关的视觉 token 增强」这一此前多局限于图像大模型（如 SF-LLaVA、TS-LLaVA）的思路，延伸到了快速迭代的视频大模型上，证明零参数时空先验（多粒度网格化+范数加权）也能媲美需额外训练的 token 压缩方法，为部署阶段低成本改造现有视频大模型提供了可直接复用的路径。

局限与不足

ST-GridPool 依赖的核心假设——token 的 L2 范数与语义显著性正相关——是在 HKU-IS 这一图像级显著性检测数据集上验证得到的经验规律，其在视频场景、尤其是低对比度或显著物体缺失的画面中是否同样成立，论文未做进一步的定量分析。此外，PTG 的层级数 L、基础分段长度 K，以及 NSP 的核大小、步幅等超参数目前依赖人工设定和在少数基准上的网格搜索（如温度 β、范数阶数 p 的最优值 β=1、p=2），缺乏针对不同视频时长、帧率或场景类型的自适应机制。方法作为免训练的后处理模块，其性能上限仍受限于原始视觉编码器和骨干模型本身的表征能力，无法像可学习压缩方法那样通过端到端训练进一步逼近任务最优。