JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and GenerationJavisGPT：面向有声视频理解与生成的统一多模态大语言模型

旧模型要么只做图像-文本理解，要么把视频与音频理解、生成拆成独立通道，用拼接或填充特征集成，忽略了音视频间细粒度的时空同步。JavisGPT 用「编码器-LLM-解码器」架构，Qwen2.5-VL 为骨干、BEATs 编码音频，用 SyncFusion 把音视频融合成同步的 SyncAV token 做统一理解；生成侧以同步感知的可学习查询（语义条件 + 时空先验条件）桥接预训练 JavisDiT，冻结生成器只对齐条件嵌入。配合三阶段训练与 200K 量级指令数据，在 JAV 理解与生成榜单上领先。

联合理解与生成多模态的 MLLM 近年兴起，但既有工作分两派：一派聚焦图像-文本，或把视频与音频理解、生成当成独立模态；一派如 NExT-GPT、UnifiedIO-2 走管线式框架，逐个执行音频与视频生成组件，错误逐级传导且输出常不同步。对「有声视频」这类需音画精准对应（声音来自画面何位置、何时起止）的任务，现有模型往往把音频与视频用拼接或填充塞进 LLM，错过细粒度时空交互，在要求同步的复杂场景中表现欠佳。

关键贡献

• 提出 JavisGPT，首个在统一框架中同时完成有声视频理解与生成的 MLLM，采用编码器-LLM-解码器架构。
• 设计 SyncFusion 模块，把音频与视频特征融合成同步的 SyncAV token，显式建模时空同步而非简单拼接。
• 提出层级可学习查询——语义条件与时空先验条件——桥接 LLM 与预训练 JavisDiT，保持生成器冻结以降低训练开销。
• 设计含 MM-PreTrain、AV-FineTune、MM-InstTune 的三阶段训练流水线，逐步把视觉语言骨干扩展到音视频联合任务。
• 构建 JavisInst-Omni，一个超 200K 条 GPT-4o 精修并人工核验的音频-视频-文本指令数据集。
• 在 JAV 理解与生成基准上取得领先，并以更少的训练样本实现更强的同步表现。

总体思路

JavisGPT 走「编码器-LLM-解码器」三段式：视觉侧复用 Qwen2.5-VL 的视觉编码器抽帧，音频侧新开基于 BEATs 的并行分支抽音频特征，两者连同文本提示与若干可学习查询 token 一起送入 Qwen2.5-VL-7B-Instruct 骨干。LLM 理解后，一方面输出文本回答，另一方面在遇到特殊 token \texttt{<|av_start|>} 时生成条件嵌入，喂给预训练并冻结的 JavisDiT 扩散生成器，产出同步的有声视频。理解与生成共用同一套 LLM 参数，靠两套可学习查询分别对接「输入融合」与「输出条件」两个方向。

模态编码与 SyncFusion 音视频融合

视频编码为稠密表示 $\mathbf{V} \in \mathbb{R}^{T_v \times (H\times W)\times C}$，$T_v$ 为帧数；音频波形转 2D mel 频谱得 $\mathbf{A} \in \mathbb{R}^{T_a \times M \times C}$，$M=128$ 个频带、每帧 25ms 窗 10ms 重叠。SyncFusion 先把音频按帧数均匀切分对齐到视频，$\mathbf{A}' \in \mathbb{R}^{T_v \times (r \times M) \times C}$，$r=\lceil T_a/T_v \rceil$，不足补零；再用共享交叉注意力把音频线索注入逐帧视频表示，经两层 MLP 得到 SyncAV token，长度与原生视频 token 一致以兼容 MRoPE。每个 token 编码第 $t_v$ 帧第 $i$ 行第 $j$ 列视觉 patch 处的一个局部音视频事件。

同步感知的语义查询

生成侧插入 $N$ 个可学习查询 $Q^c$。LLM 在 NTP 过程中遇到 \texttt{<|av_start|>} 时，这 $N$ 个 token 立即进入输入序列，经因果注意力后由两层 MLP $\phi_{\theta}^c$ 投影到 DiT 条件空间，得到语义条件 $\hat{\mathbf{c}} = \mathbb{R}^{N \times D}$，是整体音视频事件的粗粒度描述（如「一辆车发动并驶出画面」）。与 MetaQueries 完全替换原条件、需全量微调 DiT 不同，这里冻结生成器，仅用对齐损失把 $\hat{\mathbf{c}}$ 拉近原始 T5-XXL 文本编码器给出的 $\mathbf{c}$： $$\mathcal{L}_{align}^c = \| \hat{\mathbf{c}} - \mathbf{c} \|_2$$ 这大幅简化训练、降低算力，同时保住有效的生成条件。

时空先验查询与生成损失

为增强生成时的时空同步，另加 $N'$ 个可学习查询 $Q^s$，用独立 MLP $\phi_{\theta}^s$ 把先验查询的最终层表示映射到 ST-prior 条件空间，得到 $\hat{\mathbf{s}}$。它捕捉细粒度同步：空间先验管事件在画面哪里出现与消失，时间先验管何时起止（「声 2s 起、7s 出、9s 淡出」）。对齐到 JavisDiT 的 ST-prior 编码器给出的真值 $\mathbf{s}$： $$\mathcal{L}_{align}^s = \|\hat{\mathbf{s}} - \mathbf{s}\|_2$$ 再把语义与 ST-prior 两路对齐损失与扩散降噪目标联合优化： $$\mathcal{L}_{comp} = \|\hat{\mathbf{c}} - \mathbf{c}\|_2 + \|\hat{\mathbf{s}} - \mathbf{s}\|_2 + \|\epsilon - \hat{\epsilon}(\mathbf{a}_t, \mathbf{v}_t, \hat{\mathbf{c}}, \hat{\mathbf{s}}, t)\|_2$$ 其中 $\hat{\epsilon}(*)$ 是在时刻 $t$ 上以条件 $\hat{\mathbf{c}}$、$\hat{\mathbf{s}}$ 预测视频 $\mathbf{v}$ 与音频 $\mathbf{a}$ 噪声的 DiT 模型，调度器用 rectified flow。

三阶段训练流水线

第一阶段 MM-PreTrain 用约 600K 音频-文本对只训输入 MLP $\phi^a$（音频字幕与问答，最小化 $\mathcal{L}_{ntp}$）；再用 1.5M 条 TAVGBench 有声视频字幕训练 $Q^c$ 与 $\phi^c$ 做条件预对齐（$\mathcal{L}_{align}$），为后续提供语义初始化。第二阶段 AV-FineTune 引入 LoRA（$r=128, \alpha=256$），在约 360K 音视频-文本三元组上用 $\mathcal{L}_{ntp}$ 训 SyncFusion 做同步理解、用 $\mathcal{L}_{comp}$ 巩固生成同步。第三阶段 MM-InstTune 在 JavisInst-Omni 上联合微调所有新引入模块与 LoRA，得到泛化的指令跟随能力。消融显示跳过 MM-PreTrain 会使早期训练不稳，需把学习率从 1e-4 降到 1e-5，最终性能反而受损。

小结

JavisGPT 的真正关键，是把「音视频同步」落实成两个具体机制——理解端以 SyncFusion 把音频注入逐帧视觉 token，生成端用「语义条件 + 时空先验条件」层级查询在冻结的 JavisDiT 上对齐，从而不微调生成器就拿到时空同步的有声视频。

零样本评测覆盖视频、音频与音视频同步基准（ActivityNet、ClothoAQA、AVQA 等），生成在自建 JavisBench-mini 上测 FVD、KVD、CLIP、JavisScore，仅用 1.5M 训练样本，同步理解力压 Qwen2.5-Omni、生成优于基座 JavisDiT。

关键数据

JavisGPT 处于「多模态统一模型」脉络的关键节点：NExT-GPT、UnifiedIO-2 走管线式先后生成音频与视频，缺乏联合建模导致输出不同步；Video-LLaMA2、Qwen2.5-Omni 虽能联合理解，却把音视频独立拼接。它把同步作为一等公民建模，证明冻结 DiT、只对齐条件嵌入即可获得高质量生成，为后续数据与模型研究奠定基础。

局限与不足

JavisGPT 仍以单一 LLM 骨干承载理解与生成两套查询，同步建模依赖冻结的 JavisDiT 与手工设计的 ST-prior 条件，跨模态桥接并非端到端可学习；联合训练中音视频同步仅提升约 +0.04，说明理解与生成间仍缺更统一的机制。生成推理依赖外部扩散生成器并占用额外算力，延迟与显存开销未系统评测；音频编码仍用 BEATs 特征，尚未集成更强语音模型（如 Whisper、WavTokenizer），因此语音输入输出、细粒度可控编辑、复杂指令生成等方向仍需扩展。此外人工评测集仅 100 个多轮对话、5 名志愿者标注，规模偏小；指令数据主要采样自 TAVGBench 与既有 QA 集合，覆盖现实有声视频场景的广度仍待验证。