Divide and Conquer: Decoupled Representation Alignment for Multimodal World Models分而治之：面向多模态世界模型的解耦表征对齐

多模态世界模型需同时生成RGB、深度、掩码视频，但现有方法只用单一基础模型（如DINOv2）做表征对齐，无法兼顾各模态的先验。作者发现DINOv2、DepthAnythingV2、SAM2分别训练于RGB、深度、掩码各自的模态空间，是互补的“模态专家”；但直接把多个专家同时接到同一组扩散特征上对齐，会因特征纠缠而相互打架，收益几乎消失。M²-REPA先用轻量MLP把共享中间特征解耦成与各专家对应的子空间再分别对齐，并用CKA相似度约束子空间互补不冗余，从而无冲突地蒸馏多个基础模型的先验。

此前视频扩散世界模型多只建模2D RGB像素，难以满足自动驾驶、具身智能等场景对3D结构和多模态信息的需求，TesserAct、Aether、WorldWeaver等工作开始联合生成RGB、深度、法线或光流等多模态视频。同时REPA一类表征对齐方法证明把扩散特征与DINOv2等基础模型的干净特征对齐能提升生成质量，但局限于单一模态、单一基础模型；本文预实验发现把多个基础模型朴素叠加进同一套对齐损失反而造成特征冲突，收益微乎其微。

关键贡献

• 首次提出面向多模态视频生成的表征对齐方法M²-REPA，同时利用多个基础模型的互补先验而非单一专家
• 通过RGB-深度双模态预实验揭示了“模态优势”现象：不同基础模型在各自训练的模态上具有独特且不可替代的先验知识
• 设计模态特定解耦层，把扩散模型的共享中间特征拆分为与各基础模型对应的子空间，从根源上避免多专家联合对齐产生的特征冲突
• 提出基于CKA相似度的模态解耦正则化损失，显式惩罚子空间之间的冗余，促使不同模态表征学到互补而非重复的信息
• 在RealEstate10K（UViT骨干、相机位姿条件）和Minecraft（DiT骨干、动作条件）的RGB-深度-掩码三模态生成任务上验证了方法的骨干无关性和长时程一致性优势

总体思路

M²-REPA 面向“RGB-深度-掩码”三模态视频生成：给定首帧的RGB图像、深度图、分割掩码以及相机位姿或动作等控制信号，模型以自回归方式逐帧生成三模态视频。整体流程是：三个模态分别编码后融合进同一个扩散骨干；骨干输出的共享中间特征先被拆分成与各基础模型对应的子空间，再分别与DINOv2（RGB专家）、DepthAnythingV2（深度专家）、SAM2（掩码专家）在干净帧上提取的特征做余弦对齐；同时用CKA正则约束这些子空间互不冗余。扩散骨干本身仍用Flow Matching训练生成三模态视频的速度场，表征对齐与解耦正则只是在训练阶段额外加入的正则项，推理时不引入任何额外开销。

三模态扩散骨架与特征编解码

对每个模态 $m\in\{\text{RGB},\text{D},\text{M}\}$，输入先经模态专属编码器得到嵌入 $e_t^m=\text{Enc}^m(X_t^m)$，再沿通道维拼接并通过融合MLP得到联合表征；扩散骨干处理完后再经另一个MLP拆分还原各模态的速度场：

$$e_t = \text{MLP}_{\text{fuse}}([e_t^{\text{RGB}}; e_t^{\text{D}}; e_t^{\text{M}}]), \qquad [\hat{v}_t^{\text{RGB}}; \hat{v}_t^{\text{D}}; \hat{v}_t^{\text{M}}] = \text{Split}(\text{MLP}_{\text{split}}(\tilde{v}_t))$$

三个模态复用了预训练RGB投影层的结构（复制出深度与掩码的专属编码/解码器），使整个架构可以直接插到已有的单模态视频扩散框架上，不需要重新设计骨干。

Flow Matching 与逐帧噪声调度

底层生成目标用Flow Matching刻画：从标准高斯噪声到干净三模态视频做线性插值，网络学习预测对应的速度场：

$$\mathbf{x}_t = t\mathbf{x}_1+(1-t)\mathbf{x}_0, \qquad \mathcal{L}_{\text{FM}}(\theta)=\mathbb{E}\left[\left\|\mathbf{v}_\theta(\mathbf{x}_t,\mathbf{y},t)-\mathbf{v}_t\right\|_2^2\right]$$

为了支持任意长度的自回归生成，模型借鉴Diffusion Forcing的做法，给视频序列里每一帧独立分配连续时间步 $t_i$，而不是用全局统一的 $t$：

$$\mathbf{x}_{t_i}^{(i)} = t_i\mathbf{x}_1^{(i)} + (1-t_i)\mathbf{x}_0^{(i)}$$

这让模型在推理时可以让已生成的上下文帧保持干净（$t_i=1$）、未来帧从纯噪声（$t_j=0$）逐步用ODE求解器迭代生成，从而把短程训练扩展到任意长度的自回归推演。

多模态表征对齐损失

为了让扩散特征同时吸收多个基础模型的先验，M²-REPA 对扩散网络在噪声帧上提取的中间特征 $h_t=f_\theta(x_t)$，与 $K$ 个冻结基础模型在干净帧上提取的目标特征 $y_*^{(k)}=f^{(k)}(x)$ 逐模态做token级余弦对齐（本文取 $K=3$，对应DINOv2、DepthAnythingV2、SAM2）：

$$\mathcal{L}_{\text{M}^2\text{-REPA}} = -\frac{1}{K}\sum_{k=1}^{K} \mathbb{E}\left[\frac{1}{N}\sum_{n=1}^{N} \cos(\hat{y}^{(k)}_{*,[n]}, \hat{h}^{(k)}_{\phi,[n]})\right]$$

其中 $\hat{h}_\phi^{(k)}=g_\phi^{(k)}(h_t)$ 是经过轻量MLP投影后的特征，训练时基础模型全部冻结，只优化扩散骨干和这些投影MLP。

模态解耦正则化（CKA相似度）

如果直接让同一份共享特征 $h_t$ 同时去匹配三个异构的基础模型，会出现特征纠缠、训练难以收敛的问题——预实验里朴素叠加DINOv2+DepthAnythingV2的REPA甚至比单用一个专家更差。为此，作者为每个模态引入专属解耦层 $\{g_\phi^{(k)}\}_{k=1}^K$，把共享特征投影到各自子空间后再对齐，并用Centered Kernel Alignment（CKA）度量子空间之间的相似度，显式压低它们的两两相似度以鼓励互补：

$$\mathcal{L}_{\text{decouple}} = \frac{2}{K(K-1)}\sum_{i=1}^{K}\sum_{j=i+1}^{K} \text{CKA}(\hat{h}^{(i)}_\phi, \hat{h}^{(j)}_\phi)$$

CKA对各向同性缩放和正交变换具有不变性，比直接用余弦相似度平方做正交惩罚（即消融实验中的cos²损失）更能稳健衡量两组特征在表征结构上的真实重叠程度，这也是消融实验中CKA版本明显优于cos²版本的原因。

为什么要先解耦再对齐

论文的核心直觉是：基础模型之间的差异不是噪声，而是各自训练模态留下的结构化先验——DINOv2懂语义纹理、DepthAnythingV2懂几何深度、SAM2懂物体边界，三者本质上描述的是同一场景的不同侧面。如果强迫一份共享特征同时满足三种诉求，梯度方向会相互抵消；而先用独立的小MLP把特征“分流”到三个子空间，再各自对齐，相当于让每个专家只负责教自己最擅长的那一部分特征，彼此互不干扰。CKA正则进一步防止三个子空间偷懒地学成同一份拷贝，从而真正发挥多专家互补的价值，这正是“分而治之”的含义所在。

总训练目标

完整的训练目标把流匹配损失、多模态对齐损失和解耦正则加权求和：

$$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{FM}} + \lambda_{\text{align}} \mathcal{L}_{\text{M}^2\text{-REPA}} + \lambda_{\text{decouple}} \mathcal{L}_{\text{decouple}}$$

实验中取 $\lambda_{\text{align}}=0.5$、$\lambda_{\text{decouple}}=0.05$，训练时所有基础模型保持冻结，只更新扩散骨干和各模态的解耦投影MLP，推理阶段完全不依赖这些基础模型，因此不引入任何额外推理成本。

小结

M²-REPA的关键不是又多接了几个基础模型，而是先解耦、再对齐、再用CKA正则维持互补——这三步配合才能把多个异构专家的先验真正无冲突地蒸馏进同一个多模态扩散模型。

实验在RealEstate10K（相机位姿条件，UViT骨干，8/200帧自回归）与Minecraft（动作条件，DiT骨干，150帧）上构建RGB-深度-掩码三模态基线，深度伪标签用DepthAnythingV2、掩码用SAM2。M²-REPA在两种骨干、短长时生成上均超越单模态REPA变体与朴素多专家组合。

关键数据

M²-REPA把REPA这一类表征对齐技术从单模态RGB生成扩展到多模态联合生成，是这条技术路线上第一个系统处理“多基础模型联合蒸馏会冲突”问题的方法。其解耦-对齐-正则的设计思路，为后续需要同时利用多个异构基础模型先验（如同时要几何、语义、分割等多种先验）的生成式世界模型提供了一个可直接复用的模块化范式。

局限与不足

M²-REPA的效果上限天然受限于所依赖基础模型本身的质量与偏置：如果DepthAnythingV2或SAM2在特定场景下存在系统性误差，这些误差会随对齐一并蒸馏进扩散模型，而不会被方法本身纠正。其次，同时对齐多个基础模型意味着训练阶段要额外跑若干次前向推理并维护多组解耦MLP，训练计算开销随专家数量 $K$ 线性增长，论文只验证了 $K=3$（RGB、深度、掩码），更大 $K$ 下收益是否持续、解耦层是否仍足以消解冲突尚未探讨。此外，实验仅覆盖RealEstate10K静态场景和Minecraft游戏环境两类数据分布，真实复杂动态场景（如自动驾驶路况）下的表现仍待验证。最后，论文也指出高保真多模态合成能力的提升会放大伪造内容被滥用的风险，需要配套的媒体鉴伪手段。