Cluster-Wise Spatio-Temporal Masking for Efficient Video-Language Pretraining簇级时空掩码：面向高效视频-语言预训练

视频-语言预训练要在大规模数据上训练才能获得强泛化能力，计算开销巨大；掩码视觉建模能省算力，但高掩码率会丢弃太多视觉信息，且相邻帧高度相关会导致「时序信息泄漏」——被掩码的token可直接从邻帧对应位置抄答案。本文提出ClusterSTM：先在每帧内聚类，将视觉token分成语义独立的多簇，保证每簇留一个token不丢整体内容；再在簇内挑「时序密度」最高的token保留、其余丢弃，使保留的token与邻帧仍保持强关联以抑制泄漏。此外引入「视频-文本相关性」作为重建目标，比单纯重建视觉特征更贴合跨模态对齐。

掩码自编码器类方法靠极长训练周期弥补高掩码率造成的视觉信息损失，但视频-语言预训练通常只训练几轮，扛不住长训练。UMT用「语义掩码」只保留前景高语义token，但文本描述往往兼顾前景背景，语义掩码忽视了背景对齐贡献；STM靠降低掩码率保留更多token，却因此不再「高效」。此外相邻帧高度相关，随机掩码易让被掩码token直接从邻帧「抄」到答案，即时序信息泄漏；Tube masking用同一掩码图应用到所有帧缓解，但只在运动很小时有效。

关键贡献

• 提出ClusterSTM掩码策略，用帧内聚类+簇内择优的方式在高掩码率下保留整体视觉内容
• 提出基于时序密度的簇内选择机制，专门针对视频掩码建模中的时序信息泄漏问题
• 提出视频-文本相关性重建目标，让重建监督信号本身带有跨模态语义而非停留在视觉层面
• 在文本-视频检索、视频问答、视频字幕等多个任务和数据集上取得同等数据规模下的最优效果

总体思路

ClusterSTM采用「教师-学生」框架：一个训练好的视觉-语言基础模型（教师）先对视频逐帧生成视觉token，并据此产出两类信号——供学生做掩码的时空掩码，以及供学生重建的视频-文本相关性矩阵；学生模型（ViT视频编码器+BERT文本编码器）只处理教师标出的「可见」token，经视频编码器编码后与「不可见」token的占位符一起送入时空解码器，重建出完整的token序列，再用重建的不可见token与文本特征计算重建的相关性矩阵，与教师给出的目标做对比监督。整个流程的关键创新集中在「怎么选可见token」（簇级时空掩码）和「重建目标是什么」（视频-文本相关性）这两处。

帧内聚类：先保证空间上不丢整体内容

直接按前景/背景语义或随机保留token，都容易系统性丢掉某一类区域（前者丢背景，后者丢关键前景）。ClusterSTM的思路是：既然文本描述通常兼顾前景背景，那就不按语义高低筛选，而是把一帧内的token按语义相似性聚成$N_c$个「语义独立」的簇，之后保证每个簇都留一个代表token，从结构上保证不漏掉任何一类内容。簇数由掩码率$r$决定，聚类用现成的密度峰值聚类（DPC）算法：

$$N_c = N\times(1-r),\qquad \mathbb{C}_t = DPC(\mathbf{\widehat{x}}_t, N_c)$$

其中$N$是每帧token数，$\mathbf{\widehat{x}}_t$是教师模型在第$t$帧输出的视觉token。

语义距离

无论是聚类还是后面算时序密度，都需要一个衡量两个token语义相似程度的基本量。ClusterSTM用余弦距离定义两个token向量$\mathbf{u}_i,\mathbf{u}_j$之间的语义距离：

$$d(\mathbf{u}_i,\mathbf{u}_j)=1-\frac{\mathbf{u}_i\cdot\mathbf{u}_j}{\|\mathbf{u}_i\|_2\|\mathbf{u}_j\|_2}$$

距离越小说明两个token语义越接近，这个量既用来算簇内的局部密度，也用来算跨帧的时序密度。

时序密度：解决「抄邻帧答案」的信息泄漏

只做帧内聚类、簇内随机留一个token，虽然能保住整体内容，却挡不住时序泄漏——如果留下的token正好和邻帧某个可见token几乎一样，模型不需要理解内容就能直接从邻帧「抄」出被掩码的部分。ClusterSTM的解法是把DPC里原本算「局部密度」的方式改成跨帧版本：对某一帧的每个token，累加它与其余所有帧所有token的语义相似度（用高斯核衰减），得到该token的时序密度：

$$\mathbf{\rho}(\mathbf{\widehat{x}}_{t,n})=\sum_{\substack{i=1\\ i\neq t}}^{T}\sum_{j=1}^{N}\exp^{-d(\mathbf{\widehat{x}}_{t,n},\mathbf{\widehat{x}}_{i,j})/d_c}$$

直觉是：一个token在邻帧里能找到的语义相似token越多，说明它在时间上越「稳定」、和上下文关联越强，把它保留下来，模型才有机会靠「跨帧关联」去重建被掩码的部分，而不是靠简单复制。

簇级掩码的选取规则：为什么按簇选最高时序密度

有了每帧的簇划分和每个token的时序密度，最终掩码规则很简单：每个簇内只保留时序密度最高的那个token，其余全部丢弃，由此生成该帧的时空掩码$\mathbf{\widehat{\mathcal{M}}}_t$。这里的设计直觉是两个目标不能分开做——如果只按时序密度全局排序保留top-k，可能所有留下的token都挤在同一语义区域（比如全是背景），照样丢内容；如果只按簇随机选，虽然覆盖了所有语义区域，但选出的token可能恰好是易被邻帧「泄漏」的那类。把两者结合、在每个簇内部按时序密度择优，既保证了空间覆盖的完整性，又保证了被留下的token本身具有跨帧一致性，这也是论文消融里「cluster-wise-S → cluster-wise-ST」带来明显提升的原因。

视频-文本相关性重建：让重建目标本身携带跨模态语义

以往方法把重建目标限定在视觉模态内（像素、HOG特征、深度特征等），即便用高层特征也没有直接利用文本信息。ClusterSTM改用SigLIP教师模型的注意力池化机制，先对视觉token做滑窗聚合得到「局部信息增强」的融合token（因为教师模型本身是全局对比学习训练的，单个token直接和文本交互质量不高），再把融合token与文本特征做点乘，得到视频-文本相关性矩阵$\mathbf{\widehat{r}}_t$作为重建目标。学生模型重建出的不可见部分相关性矩阵$\mathbf{\widetilde{R}}^{inv}$用L2距离对齐教师给出的目标$\mathbf{\widehat{R}}^{inv}$：

$$\mathcal{L}_{MRM}=L2(\mathbf{\widetilde{R}}^{inv},\mathbf{\widehat{R}}^{inv})$$

整体训练目标

除了掩码相关性建模损失$\mathcal{L}_{MRM}$，ClusterSTM沿用视频-文本对比学习（VTC）、视频-文本匹配（VTM）、掩码语言建模（MLM）三个常规目标联合训练：

$$\mathcal{L}=\mathcal{L}_{MRM}+\mathcal{L}_{VTC}+\mathcal{L}_{VTM}+\mathcal{L}_{MLM}$$

消融显示$\mathcal{L}_{MRM}$带来的性能增益最大，说明把重建目标从视觉层面提升到跨模态相关性层面，确实比单纯做视觉重建更能帮助模型学到对齐良好的联合表征。

小结

ClusterSTM的关键不是「聚类」或「时序密度」单独哪个新，而是把「按簇覆盖空间语义」与「按时序密度筛选跨帧一致的token」拧在一起做掩码决策，再配合一个把重建目标从视觉特征升级为视频-文本相关性的设计，同时解决了高掩码率下的信息损失与时序泄漏两个此前被分开处理的问题。

预训练数据为WebVid-2M与CC3M组合，视频编码器ViT-B/16（UMT权重初始化），文本编码器BERT-base，教师模型SigLIP-base；图像/视频掩码率75%/90%，8卡A100训练10轮。文本-视频检索、视频问答、视频字幕多任务上，同等数据规模下全面超过UMT、STM；消融证实各组件均有贡献。

关键数据

ClusterSTM沿着UMT、STM等「掩码视频建模用于高效视频-语言预训练」的路线继续推进，把此前被割裂讨论的「视觉信息损失」与「时序信息泄漏」两个问题放进同一个掩码设计里统一解决，并把重建目标从单模态视觉特征升级为跨模态相关性。其聚类+时序密度的选token思路和视频-文本相关性重建目标，为后续设计掩码策略与重建目标提供了可直接复用的组件。

局限与不足

论文的簇数和掩码率是按经验网格搜索确定的（图像75%、视频90%），并未给出如何针对新数据集或新骨干网络自动确定最优配置的方法；时序密度计算需要遍历目标token与其余所有帧所有token的两两语义距离，其复杂度随帧数和每帧token数呈平方增长，在更长视频或更高分辨率下的计算开销未在文中讨论；此外整个流程依赖一个额外的、已经过大规模视觉-语言对比学习训练好的教师模型（SigLIP）来生成掩码和重建目标，教师模型的质量和其视觉-语言对齐能力会直接限制ClusterSTM能达到的上限，方法本身并不能脱离强教师独立运作；实验也主要在5M级中等规模数据上验证，相对InternVideo、VAST等使用数亿级数据预训练的模型仍有明显差距，论文虽有讨论但未给出弥合该差距的具体路径。