AVTok: 1D Unified Tokenization for Holistic Audio-Video GenerationAVTok：面向整体音视频生成的一维统一分词器

现有音视频生成模型普遍用两个独立训练的分词器分别压缩视频和音频，再各自生成，导致计算开销大、且两套嵌入空间存在语义鸿沟，容易产生音画不对齐。AVTok 提出把音频与视频联合编码进同一个一维离散隐空间：采用共享编码器-解码器、但模态专属可学习查询的双流Transformer架构，并设计分阶段的VFAL训练策略与表征对齐损失解决音频被视频压制、跨模态融合过于隐式的训练难题。该分词器不仅重建质量优于同类单模态基线，接入自回归模型后还能高效完成音频生成视频、视频生成音频与联合音视频生成三类下游任务。

此前的音频生成视频、视频生成音频、联合音视频生成模型大多采用双分支架构：每种模态各用一套独立预训练的编码器压缩为隐表示，再配独立的生成模块。这种设计计算成本高，且两个分词器训练时互不知晓，学到的嵌入空间彼此存在表征差异，容易在合成结果中出现音画语义不对齐。1D整体式视觉分词（如LARP）已证明查询式Transformer能把视频压缩成对自回归生成友好的离散序列，这启发作者把音频也纳入同一套查询式框架。

关键贡献

• 首次提出统一音视频分词任务，将两种模态联合编码进单一隐空间以消除表征鸿沟。
• 设计AVTok双流Transformer架构，编码解码器共享参数但各模态拥有专属可学习查询与归一化层。
• 提出VFAL分层训练范式，按视频优先、音频随后、联合精修三阶段逐步获得重建能力。
• 引入基于预训练音视频基础模型的表征对齐损失，弥补共享参数隐式融合导致的对齐不足。
• 在音视频重建及A2V、V2A、类别条件联合生成三类下游任务上验证了统一分词器的有效性与高效性。

总体思路

现有音视频联合生成模型普遍采用「双分支」架构：分别用两个独立训练的分词器压缩视频和音频，再用各自的生成模块合成，导致计算开销大，且两个分词器学到的嵌入空间彼此存在语义鸿沟，容易产生音画不对齐。AVTok 提出把音频和视频联合编码进同一个一维（1D）离散隐空间：输入一段带声视频，先分别切片得到视频patch嵌入和音频mel谱patch嵌入，再经共享编码器-解码器、但各模态专属的可学习查询压缩成统一码本下的离散token序列；解码时再用各模态专属的patch查询重建出视频帧和mel谱（后接声码器还原波形）。这套表示既可直接评估重建质量，又能无缝接入自回归生成模型，用于音频生成视频（A2V）、视频生成音频（V2A）及类别条件下的联合音视频生成（cJAVG）。

查询式1D视觉分词（继承自LARP的预备设计）

AVTok 建立在当前最先进的1D视频分词器 LARP 之上。视频先被切分为空间-时间patch并展平为嵌入 $\mathbf{E}^v$，再引入一组固定数量的可学习「整体查询」$\mathbf{Q}^v_L$ 与patch嵌入拼接后送入编码器，只有查询对应位置的输出被量化为离散token：

$$\mathbf{Z}^v=\mathcal{E}(\mathbf{Q}^v_L\|\mathbf{E}^v), \quad \mathbf{x}^v=\mathcal{Q}(\mathbf{Z}^v_{1:n})$$

解码时再用另一组patch查询 $\mathbf{Q}^v_P$ 把离散token还原成patch嵌入并重建视频。这种「查询代表整体、patch代表局部」的设计让token不再绑定固定空间位置，因而能捕捉更高层的整体语义，且天然适配自回归生成，不受固定空间顺序限制。

音频的mel谱patch化

与视频不同，原始音频波形 $\mathbf{A}_{raw}\in\mathbb{R}^{N}$ 是一维连续信号，AVTok 转而使用归一化mel谱 $\mathbf{A}_{mel}\in\mathbb{R}^{M\times L}$ 作为输入——它可被视为一张灰度图，因此能沿用与视频完全相同的patch化流程：

$$\mathbf{P}^a=\mathcal{P}(\mathbf{A}), \quad \mathbf{E}^a=\mathcal{F}(\mathbf{P}^a)$$

这样处理既降低了直接对原始波形建模的计算复杂度，又让音频与视频在「patch+query」这套架构语言下天然统一；重建时借助现成的HiFi-GAN声码器把mel谱转换回波形，质量几乎无损。

双流Transformer：共享参数与模态专属查询

最直接的做法是把音视频patch嵌入直接拼接成单一序列、共用一套查询过完整个单流模型（即Vanilla版本）——这样能隐式建模跨模态关联，但由于视频信息密度远高于音频，联合训练时视频流会压制音频流的学习，导致整体性能下降。AVTok 因此改为双流架构：编码器与解码器参数共享，但视频和音频各自拥有独立的整体查询、patch查询以及归一化层：

$$\mathbf{Z}^i=\mathcal{E}(\mathbf{Q}^{i}_L\|\mathbf{E}^{i}; LN_1^i, LN_2^i), \quad \mathbf{x}^{i}=\mathcal{Q}(\mathbf{Z}^i_{1:j}),\ (i,j)\in\{(v,n),(a,q)\}$$

模态专属的查询和归一化层让每个模态能保留自己的统计特性与信息密度，共享的剩余参数依然承担隐式跨模态融合，兼顾了效率（仅一套编码解码器）与效果（不互相压制）——这正是作者认为「模态专属组件+共享主干」优于完全共享或完全独立两种极端设计的原因。

分层训练范式VFAL（Video-First-Audio-Later）

直接从零联合训练双流模型效果并不理想：视觉信息远比听觉信息丰富，会持续压制音频流的学习。为此AVTok设计三阶段训练：第一阶段只训练视频流（丢弃音频流），先建立稳固的视频token表示空间；第二阶段冻结视频流与共享参数，只训练音频专属模块，让mel谱重建能力在稳定的共享基座上生长（这一步之所以可行，是因为mel谱本质是灰度图，可以复用视频阶段学到的共享表征）；第三阶段联合微调解码模块，实现音视频统一重建的质量精修。这种「先易后难、逐步解冻」的路径避免了两个信息密度悬殊的模态在训练一开始就互相拖累。

表征对齐学习

即便有双流架构，跨模态融合仍完全依赖共享参数的隐式交互，可能导致语义对齐不足。AVTok 引入一个预训练的音视频基础模型 $\mathcal{M}_F$（已学到具有丰富语义对应关系的嵌入空间）作为对齐监督信号，让编码器输出的隐表示（插值到与 $\mathcal{M}_F$ 特征等长后）与其对齐：

$$\mathcal{L}_{rep}=-\mathbb{E}\Big[\sum_{i\in\{a,v\}}\frac{1}{N_i}\sum_{k=1}^{N_i}\text{sim}\big(\mathbf{Z}_F^{i}[k], h_\phi(\text{interp}(\tilde{\mathbf{Z}}^i)[k])\big)\Big]$$

其中 $h_\phi$ 是一个MLP投影头，把AVTok自身的隐表示映射到基础模型的语义空间再计算相似度。这一显式约束引导两条流学到彼此可对应的语义结构，弥补了共享参数隐式融合的不足。

跨模态自回归先验与整体训练目标

为了让离散token序列适配自回归生成，AVTok 沿用LARP的轻量AR先验模型思路，训练期用下一token预测（NTP）的负对数似然损失约束token排列顺序；由于下游任务既要「视频生成音频」也要「音频生成视频」，AVTok 同时对 $\mathbf{x}^v\|\mathbf{x}^a$ 和 $\mathbf{x}^a\|\mathbf{x}^v$ 两种拼接顺序计算NTP损失。该先验模型只在训练阶段提供梯度、推理时被丢弃，因此不影响推理速度与显存占用。最终整体训练目标是四项损失的加权和：

$$\mathcal{L}=\lambda_1\mathcal{L}_{rec}^v+\lambda_2\mathcal{L}_{rec}^a+\lambda_3\mathcal{L}_{rep}+\lambda_4\mathcal{L}_{prior}$$

其中视频与音频的重建损失各自沿用其领域惯用组合：视频侧为L1重建损失、LPIPS感知损失、GAN对抗损失与量化损失；音频侧为多尺度mel谱损失，并复用多尺度CQT判别器与多周期判别器作为对抗组件。

小结

AVTok 的关键是用「共享编码解码器+模态专属查询」把音视频压缩进同一个1D离散码本，再靠VFAL分阶段训练与表征对齐损失解决「音频被视频压制、跨模态融合太隐式」两大训练难题，从而让统一分词器同时具备优秀的重建能力与对自回归生成任务的友好性。

重建评估用TAVGBench与VGGSound，下游生成受限只用VGGSound；默认16帧128×128视频、80×384mel谱输入。分别与视频/音频专用SOTA基线及单流Vanilla版比较重建，与TempoTokens、MMAudio等比较下游生成。结论：视频重建全面超越对照，下游生成参数量远小却质量更优。

关键数据

AVTok 把1D整体式视觉分词（LARP等）的思路首次扩展到跨模态联合场景，证明音视频可以共享同一个离散码本而不必维持笨重的双分支VAE+DiT架构，为构建统一的音视频多模态大模型提供了一条参数量更小、训练更省资源的路径，后续统一音视频生成/理解模型可直接复用其查询式双流设计与分层训练思路。

局限与不足

由于统一音视频分词是全新任务，目前没有开源的同类基线可直接对比，作者只能分别拿视频专用和音频专用的单模态SOTA方法做参照，比较的公平性有限；受时间与算力限制，下游生成任务只在VGGSound单个数据集上验证，未覆盖同样用于重建评估的TAVGBench；部分下游对比基线原本以文本描述为条件，作者用类别标签替代文本条件来对齐比较设置，这与基线的原始设定并不完全等价；此外，音频重建指标（SI-SDR、MR-STFT）仍略逊于专用的音频编解码器SpectralCodec，说明统一表示在音频侧的保真度尚未完全追平单模态专用方案；实验分辨率也局限在128×128、16帧、3.6fps的低配置，尚未验证在更高分辨率或更长视频上的可扩展性。