VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMsVideoLLaMA 2：推进视频大模型的时空建模与音频理解

视频大模型此前大多沿用图像模型的重采样思路，用 Q-Former 把逐帧特征压成固定 token，容易打乱时空顺序，也普遍丢弃视频自带的音频轨道。VideoLLaMA 2 提出双分支架构：视觉-语言分支用新设计的 STC 时空卷积连接器替换 Q-Former，在压缩 token 数量的同时保留时空局部细节；音频-语言分支引入 BEATs 编码器接入同一语言模型。两分支独立训练、仅在语言模型内部发生跨模态交互，再经预训练、多任务微调、音视频联合训练三阶段逐步打通视觉、音频与语言。

早期视频大模型大多直接搬用图像多模态模型的重采样思路：用 Q-Former 之类的结构把逐帧视觉特征压缩成固定数量的 token 再喂给语言模型。这类重采样操作不保证输出 token 保持原有的空间-时间顺序，而自回归的语言模型对训练、推理时 token 顺序的一致性高度依赖，容易造成次优收敛；与此同时，视频天然带有音频轨道，但此前的开源视频大模型几乎都只建模视觉信号，白白丢弃了语音、环境声等本可辅助理解的信息来源。

关键贡献

• 提出 STC 时空卷积连接器，用两个 RegStage 卷积块夹住一次 3D 降采样替代 Q-Former，在减少视觉 token 数量的同时更好保留时空局部细节。
• 首次为开源视频大模型系统性引入独立的音频-语言分支，通过 BEATs 音频编码器与 MLP 投影把音频特征接入语言模型。
• 设计预训练、多任务微调、音视频联合训练三阶段渐进式训练流程，按阶段冻结/解冻不同模块以稳定对齐视觉、音频与语言表示。
• 通过消融实验系统比较池化与卷积、2D 与 3D 降采样等连接器设计选择，为时空连接器结构提供实证依据。
• 在多项多选视频问答、开放式视频问答与新提出的 MSVC 视频描述基准上取得开源模型中的领先或有竞争力结果，并验证骨干扩展到 72B 的可扩展性。

总体思路

VideoLLaMA 2 沿用前代 VideoLLaMA 的双分支框架：视觉-语言分支把视频逐帧编码为 CLIP 特征，经 STC 连接器压缩时空 token 后送入大语言模型；音频-语言分支把音频转换成 fbank 频谱图，经 BEATs 编码器与 MLP 投影后同样接入语言模型。两个分支的视觉、音频编码器彼此独立，跨模态交互只发生在语言模型内部，这既保持了单模态输入的完整性、便于分开训练，也方便未来接入更多模态。整个模型通过预训练、多任务微调、音视频联合训练三个阶段，逐步把视觉、音频对齐进同一个语言空间。

双分支模态解耦架构

视觉分支选用图像级 CLIP ViT-L/14（部分变体换成 SigLIP）而非视频原生编码器，因为图像编码器兼容任意帧采样策略、便于灵活地把逐帧特征聚合成视频特征；音频分支用 BEATs 提取时序动态丰富的音频特征。两条分支在训练与推理时各自独立完成模态编码，只在语言模型的自注意力层里才发生视觉、音频、文本 token 之间的交互，这让每个分支可以单独训练、单独升级。

STC 时空卷积连接器

STC 连接器要在压缩视觉 token 数量的同时尽量不丢时空细节，设计遵循三条原则：保持输出 token 的时空顺序、减少 token 数量、减轻降采样带来的信息损失。为此它先用一个 RegStage 卷积块做空间交互，再用 3D 卷积在时间和空间上联合降采样，最后再接一个 RegStage 补偿降采样丢失的信息：

$$X_1=\mathrm{RegStage}_1(X),\quad X_{ds}=\mathrm{Conv3D}_{(t_d,\,s_d,\,s_d)}(X_1),\quad X_{out}=\mathrm{RegStage}_2(X_{ds})$$

消融实验显示这一「卷积+3D 降采样+卷积」组合在 MV-Bench、EgoSchema、ActivityNet-QA 的平均表现上优于纯池化或 2D 降采样方案，且几乎所有 3D 降采样设计在 EgoSchema（长视频问答）上都比 2D 设计更好，说明帧间特征的早期融合对长视频理解有利。

为什么放弃重采样器改用卷积

作者明确指出放弃 Q-Former/Perceiver 一类重采样架构的原因：重采样操作不保证输出的视觉 token 维持原有的空间-时间顺序，而自回归的语言模型高度依赖训练与推理阶段 token 顺序的一致性，顺序被打乱可能导致收敛变差。卷积和池化天然保持输入的空间排布，因此连接器只考虑卷积或池化两类操作，再叠加 3D 降采样压缩 token 数量、叠加 RegStage 补偿降采样损失的信息——这三条设计原则直接决定了 STC 连接器的结构，而不是先设计结构再回头解释。

音频分支与 BEATs 编码器

音频信号先被转换成 128 维频率通道的 fbank 频谱图，再送入预训练音频编码器 BEATs 提取具有丰富时序动态的音频特征，最后经过一个两层线性层组成的 MLP 投影到语言模型的隐藏维度：

$$z_a = W_2\,\sigma\big(W_1\,\mathrm{BEATs}(a)\big)$$

BEATs 编码器捕捉时间动态的能力与视觉侧 STC 连接器保持时空顺序的设计相呼应，使得音频、视觉两路特征在时间维度上更容易被语言模型对齐。

三阶段渐进式训练

训练分三个阶段逐步解冻：视频-语言预训练阶段冻结视觉编码器与语言模型，只训练 STC 连接器；视频多任务微调阶段解冻语言模型与连接器、冻结视觉编码器；音频-语言预训练阶段冻结音频编码器与语言模型（此时语言模型已由视频阶段初始化），只训练音频投影层；音频多任务微调阶段训练音频编码器与投影层、冻结语言模型；最后的音视频联合训练阶段按音视频:纯视频:纯音频约 2:1:1 的比例混合采样，冻结视觉编码器，同时训练音频/视频投影层、音频编码器与语言模型本身。各阶段的训练目标一致，都是对文本 token 做自回归的下一词预测：

$$\mathcal{L}=-\sum_t \log p_\theta(y_t \mid y_{<t}, v, a)$$

小结

VideoLLaMA 2 的关键不是堆更大的语言模型，而是用一个保序、可控 token 数量的卷积连接器替代重采样器，并用分阶段冻结/解冻的训练课程把视觉与音频两条独立分支逐步接进同一个语言模型。

作者先在 EgoSchema、MV-Bench、ActivityNet-QA 上做连接器结构消融，再在多选题问答、开放式问答与新提出的 MSVC 视频描述基准上做零样本评测，基线均按原始设置复现或引用官方结果。结论是 STC 连接器优于池化与 2D 卷积，模型在开源模型中整体领先。

关键数据

VideoLLaMA 2 延续 VideoLLaMA 系列的双分支设计，把连接器从 Q-Former 换成卷积结构，为视频大模型如何压缩时空 token 提供了一条可复现的卷积路线；其独立音频分支与三阶段训练流程也为音视频联合理解的开源实现给出了具体范式，后续的 VideoLLaMA 2.1 沿用了这一分支解耦、逐步联合训练的思路。

局限与不足

论文没有对语言模型骨干做系统搜索，只使用了 Mistral、Mixtral 与 Qwen2 三类现成模型，对 LLaMA3、Gemma 等其他骨干的适配效果未知；三阶段训练中音频分支依赖先训练好的视频分支权重做初始化，训练流程较长，且各阶段的冻结/解冻策略是经验设定而非系统搜索得到；在 ActivityNet-QA 与 Video-ChatGPT Benchmark 的部分指标上，模型仍落后于以静态图像数据为主训练的 LLaVA-NeXT-Video，说明卷积连接器在强调静态视觉细节而非时序变化的问题上不一定占优；此外 Video-MME 只报告了不含字幕设置下的结果，未评估字幕信息带来的增益，评测覆盖面因此有限。