VRAG: Learning World Models for Interactive Video GenerationVRAG：面向交互式视频生成的世界模型检索增强学习

本文研究交互式长视频世界模型为何难以保持时空一致性，把问题拆解为「误差累积」和「记忆缺失」两个耦合但不同的病灶：前者在自回归范式下几乎不可避免，后者才是长期不一致的根源。作者提出视频检索增强生成（VRAG），给自回归扩散模型显式加入全局状态（位置、朝向）条件，并按状态相似度从历史帧缓冲区检索相关帧，再用位置偏移、噪声退化、损失与条件掩码等专门训练手段把检索帧真正教给模型用起来。实验证明它明显优于从 LLM 移植的扩展上下文窗口、历史帧拼接、神经记忆等方案。

此前交互式视频世界模型（Genie、GameNGen、Oasis 等）多用自回归扩散逐帧生成并接入动作条件，能交互但长视频易出现误差累积与场景状态不一致；另一路线转向显式建模 3D 结构（Genie2、Aether、Gen3C）换取一致性，却因表示复杂牺牲分辨率、限制交互范围。现有评测指标又常把误差累积和长期一致性混在一起报告，掩盖真正瓶颈，故需先解耦分析再设计方案。

关键贡献

• 系统拆解自回归视频生成中「误差累积」与「记忆缺失」两类问题，并设计解耦评测指标分别量化。
• 提出视频检索增强生成（VRAG），用全局状态条件与历史帧检索显著提升长时空间时序一致性。
• 针对检索帧设计了位置偏移、噪声等级退化、损失掩码、动作掩码等训练改造，解决视频扩散模型上下文学习能力弱的问题。
• 系统对比了从 LLM 移植的多种长上下文技术（YaRN、历史帧缓冲、Infini-attention 神经记忆、Frame Pack），证明它们在视频生成上收益有限。
• 在 Minecraft 长视频与真实场景 RealEstate10K 数据集上建立了误差累积与世界一致性的评测基准和协议。

总体思路

VRAG 从一个基础的动作条件自回归视频扩散模型出发：先把视频编码进 VAE 潜空间，用 Diffusion Forcing 训练逐帧去噪并支持动作条件；然后针对长视频里「误差累积」与「记忆缺失」两个问题分别下药——用带噪声鲁棒性的自回归训练来缓解误差累积这一在自回归范式下几乎不可避免的问题，再用显式全局状态（位置、朝向）条件加上按状态相似度检索的历史帧缓冲区，把检索到的历史上下文以专门设计的位置编码偏移、噪声退化、损失掩码方式融入去噪网络，让模型在生成当前帧时能显式「回看」相关的历史状态，从而保持长时空间一致性。

潜空间扩散与自回归基础

模型先用预训练 VAE 把视频 $\boldsymbol{x}\in\mathbb{R}^{L\times H\times W\times 3}$ 编码为潜表示 $\boldsymbol{z}=\mathcal{E}(\boldsymbol{x})$，扩散过程按方差表 $\{\beta_t\}$ 逐步加噪，模型学习预测噪声来学会逆向去噪、逐步采样重建潜变量，最后用解码器还原像素视频。这是后续所有动作条件与检索增强都要接入的基础框架。

$$q(\boldsymbol{z}_t|\boldsymbol{z}_{t-1}) = \mathcal{N}(\boldsymbol{z}_t; \sqrt{1-\beta_t}\boldsymbol{z}_{t-1}, \beta_t\mathbf{I})$$

动作条件与 Diffusion Forcing 自回归训练

为了让生成响应动作输入，模型把动作序列 $\boldsymbol{a}$ 嵌入后通过自适应层归一化（AdaLN）调制中间特征：$\mathrm{AdaLN}(h)=\gamma_a\odot\mathrm{LayerNorm}(h)+\beta_a$。为支持自回归生成又避免模型过度依赖上下文导致误差累积，训练时给序列里每一帧独立采样噪声等级 $[t]$（Diffusion Forcing），而不是整段视频共用同一个噪声等级，从而逼模型学会在带噪的历史帧条件下仍能稳定预测：

$$\mathcal{L}_\text{DF} = \mathbb{E}_{[t],\boldsymbol{\epsilon},\mathbf{z},a}\big[\|\boldsymbol{\epsilon}_{[t]} - \boldsymbol{\epsilon}_\theta(\mathbf{z}_{[t]}, [t], \boldsymbol{a})\|_2^2\big]$$

全局状态条件

仅靠动作序列条件不足以保证空间一致性，因为同一个动作在不同时刻造成的位移会随误差累积而漂移，模型很难仅从像素历史反推自己到底在哪。VRAG 额外引入全局状态向量 $s\in\mathbb{R}^S$（3D 坐标 $s_\text{pos}$ 与朝向 $s_\text{ori}$），与动作序列一起嵌入后同样接入 AdaLN 层，让模型在生成每一帧时都显式知道角色当前所在的空间位置与姿态，而不是只能从过去帧隐式推断。这个状态向量同时也是后续检索历史帧时用来比较相关性的关键表示。

检索机制：按全局状态找「空间相关」的历史帧

VRAG 从固定长度的历史帧缓冲区 $\mathcal{B}$ 中检索与当前状态最相关的历史帧：对缓冲区里每个历史状态 $\hat{s}$，计算它与待预测的最后一帧状态 $s_{L-1}$ 之间按维度加权的距离，取相似度最高的 $L_h$ 帧并按时间排序拼成检索上下文：

$$r(\hat{s}) = f_{\text{sim}}(\hat{s} \odot w, s_{L-1} \odot w), \quad \hat{s}\in \mathcal{B}$$

其中 $f_\text{sim}$ 是欧氏距离等相似度度量，$w\in\mathbb{R}^S$ 是可学习/可调的状态分量权重，用来控制位置与朝向在检索排序中各自的重要性。这种基于显式状态的检索，比按像素相似度检索能更精确地找到「空间上真正相关」而非「画面看起来相似」的历史帧。

VRAG 的训练改造：为什么不能只在推理时拼历史帧

直接把检索到的历史帧作为上下文喂给推理阶段的模型（类似 LLM 里标准的 RAG 做法）效果很差，因为视频扩散模型的上下文学习能力远弱于语言模型：模型训练时从未见过检索帧与当前帧混合出现的情形，推理时硬拼进去自然学不会利用它们，这也是论文反复验证的一个核心发现。为此 VRAG 把检索行为直接写进扩散训练目标：给检索帧的 RoPE 位置索引加一个时间偏移 $\Delta t$，以区分它们和当前上下文帧；给检索帧施加更低的噪声等级 $\beta_{t'}<\beta_t$，模拟「已经生成过、部分去噪」的历史帧，增强模型对不完美历史帧的鲁棒性；扩散损失只在当前帧上计算，检索帧的损失被掩码掉；检索帧只保留全局状态条件、屏蔽掉动作条件，避免动作序列在时间上断裂产生伪影。整体训练目标为：

$$\mathcal{L}_\text{VRAG} = \mathbb{E}\big[\|\boldsymbol{\epsilon}_t - \boldsymbol{\epsilon}_\theta(\tilde{\mathbf{z}}_{\tilde{t}}, \tilde{t}, \tilde{\boldsymbol{a}}, \tilde{\boldsymbol{s}})\|_2^2 \odot \mathbf{m}\big], \quad \mathbf{m} = [\mathbf{0}_{L_h}, \mathbf{1}_{L_c}]$$

为什么 LLM 的长上下文技巧搬不到视频模型

作者专门设计了几组长上下文基线做对照：用 YaRN 缩放旋转位置编码来直接扩展时域上下文窗口；维护按指数衰减采样的历史帧缓冲区在推理时拼接；借鉴 Infini-attention 用压缩记忆状态做门控注意力；以及用 Frame Pack 式的多核压缩历史帧。这些方法在 LLM 里都是成熟的长上下文方案，但在视频扩散模型上均未带来一致性提升，YaRN 甚至比不做扩展的基线更差，神经记忆方案还存在训练不稳定的问题。这说明视频扩散模型的「上下文学习」能力天生弱于语言模型，仅靠推理时塞更多帧或压缩记忆不足以让模型学会「用」这些信息，必须像 VRAG 一样把检索行为显式写进训练目标，让模型在训练阶段就学会如何利用检索到的历史上下文。

小结

VRAG 的关键不是「检索」这个动作本身，而是把检索到的历史帧连同全局状态一起，用位置偏移、噪声退化、损失与条件掩码等专门设计，显式教会视频扩散模型在训练阶段学会使用历史上下文，从根本上绕开了视频模型上下文学习能力弱这一瓶颈。

训练用 MineRL 采集的 1000 段 Minecraft 长视频；评测分误差累积集（20 段 1200 帧）与世界一致性集（60 段 300 帧受控轨迹），用 SSIM/PSNR/LPIPS 及 VBench 对比多种长上下文基线，并在 RealEstate10K 微调验证泛化，VRAG 全面领先。

关键数据

VRAG 把 LLM 里「显式检索优于隐式长上下文」的经验迁移到视频世界模型领域，并指出这一迁移并不能照搬：视频扩散模型的上下文学习能力天生弱，必须靠专门的训练目标把检索信息显式教给模型，而不能只在推理时拼接历史帧。这为后续交互式视频世界模型（游戏模拟、具身导航等）在长时一致性上的架构选择提供了实证依据与评测框架。

局限与不足

作者在结论中坦承计算资源限制了方法进一步扩展：GPU 显存严重限制了历史帧缓冲区的大小和训练序列长度，可能影响更长时间尺度下的一致性和模型表现；检索增强生成的计算开销更高，会限制其在边缘设备等资源受限场景下的部署。此外，VRAG 的检索目前只依赖显式的全局状态（位置、朝向）做相似度匹配，训练与评测也主要基于 Minecraft 这一相对结构化的游戏环境，真实世界场景（RealEstate10K）的验证规模有限（仅微调 2 个 epoch），方法在更复杂、状态不可精确获取的真实环境中的可扩展性仍待验证。