RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray SpaceRAYNOVA：在光线空间中做尺度-时序双重自回归的世界模型

自动驾驶世界模型需要同时保证多视角空间一致性和多帧时间连贯性，此前方法常把两者拆开处理，并依赖点云、BEV等显式3D先验来强制几何一致，限制了对新相机配置和大幅自车运动的泛化。RAYNOVA把空间和时间统一成「尺度-时间双重自回归」：逐尺度生成一帧内所有视角的token，再把每个时间步条件化在历史所有帧、所有视角的token上。位置关系不靠绝对坐标或视角邻接假设，而用相对Plücker光线的RoPE统一表示，几乎不引入3D归纳偏置就取得nuScenes最优生成质量、更高吞吐率与对新相机布局的零样本泛化。

此前的驾驶世界模型通常把空间一致性和时间连贯性分开建模：空间上依赖相机邻接关系或跨视角投影，时间上假设同一相机的多帧图像存在强依赖并借用视频生成中的时序VAE等技巧。这类解耦设计难以应对新的传感器布局和快速自车运动。另一类方法引入点云、BEV/体素等显式3D场景表示来增强时空一致性，在受限场景内有效，但这种「几何强制」的做法阻碍了模型泛化到训练分布之外的开放世界场景，也难以直接利用不同传感器配置的异构数据。

关键贡献

• 提出尺度与时间的双重因果自回归公式，将多视角、多帧图像的联合分布统一到一个自回归链条中
• 将旋转位置编码扩展到7维Plücker光线空间，构造各向同性的相对4D时空位置表示，摆脱对固定相机配置和视角重叠的依赖
• 设计局部图像自注意力、全局时空自注意力与条件交叉注意力交替的双因果Transformer模块，在预训练next-scale预测模型上以最小改动接入时空建模
• 提出逐帧循环训练范式，用带KV潜特征缓存的滑窗训练缓解长视频自回归推理中的分布漂移，并模拟预测误差以增强鲁棒性
• 在nuScenes/nuPlan混合数据上验证了对文本、3D框、HD地图等多种控制信号的可控生成，以及对未见相机配置的零样本泛化

总体思路

RAYNOVA把驾驶世界模型的输入统一表示为多视角、多帧图像的多尺度token序列：每张图像先用一个类似VAR/Infinity的分词器量化成从粗到细的若干尺度token图。模型的核心是「双重因果自回归」——同一帧内按尺度从粗到细生成所有视角的token（尺度因果），不同帧之间按时间顺序、把当前帧的生成条件化在过去所有帧全部视角的token上（时间因果）。为了让这种跨视角、跨帧、跨尺度的注意力具备统一的空间-时间概念而不依赖任何特定相机布局，作者把每个视觉token对应的相机光线表示为7维的扩展Plücker坐标，并把旋转位置编码（RoPE）扩展到这个7维光线空间，得到「各向同性的4D相对位置编码」。在网络结构上，每个Transformer块交替执行图像内自注意力（保真度）、全局时空自注意力（一致性）与条件交叉注意力（可控性）；为了把训练阶段有限帧数扩展到推理阶段的长视频，又设计了逐帧循环训练范式，用潜特征缓存对齐训练与推理的分布。

尺度-时间双重因果自回归

沿用next-scale prediction的思路，单帧、多视角图像的$K$个尺度token联合建模为：

$$p(X_1^{1:V},\dots,X_K^{1:V})=\prod_{k=1}^Kp(X_k^{1:V}\mid X_1^{1:V},\dots,X_{k-1}^{1:V})$$

时间维度上不假设同一相机跨帧存在强依赖（转弯等大幅自车运动会破坏这种假设），而是把当前帧所有视角的生成条件化在过去所有帧、所有视角的token上：

$$p(X_{1:K}^{1:V,1:T})=\prod_{t=1}^Tp(X_{1:K}^{1:V,t}\mid X_{1:K}^{1:V,1:t-1})$$

合并二者即得到统一的双因果自回归目标：

$$p\left(X_{1:K}^{1:V,1:T}\right)=\prod_{t=1}^T\prod_{k=1}^Kp\left(X_{k}^{1:V,t}\mid X_{1:k-1}^{1:V,1:t}\right)$$

它同时描述了「同一时刻各视角联合生成」和「当前时刻依赖全部历史帧」两条约束，把空间一致性和时间连贯性纳入同一个自回归链条，而不需要为二者分别设计模块。

相对Plücker光线位置编码

每个视觉token对应的相机光线被写成扩展Plücker坐标：

$$\mathbf{p}^{v,t}_k=(\mathbf{m}_k^{v,t}\in\mathbb{R}^3,\mathbf{d}_k^{v,t}\in\mathbb{R}^3,t)$$

其中$\mathbf{m}_k^{v,t}=\mathbf{o}^{v,t}\times\mathbf{d}_k^{v,t}$，$\mathbf{o}^{v,t}$是全局坐标下的相机中心，$\mathbf{d}_k^{v,t}$是光线方向的单位向量，$t$是时间戳。直接把这个光线编码为绝对位置附加到token上，训练范围之外的场景难以外推；作者转而把它做成注意力里的相对位置编码，注意力logit写成：

$$a_{i,j}=\left(\mathbf{R}_{k_i}^{v_i,t_i}\mathbf{q}_{k_i}^{v_i,t_i}\right)^{\!\top}\left(\mathbf{R}_{k_j}^{v_j,t_j}\mathbf{k}_{k_j}^{v_j,t_j}\right)={\mathbf{q}_{k_i}^{v_i,t_i}}^{\!\top}\mathbf{R}_{\Delta}^{i,j}\mathbf{k}_{k_j}^{v_j,t_j}$$

其中$\mathbf{R}_{\Delta}^{i,j}={\mathbf{R}_{k_i}^{v_i,t_i}}^{\!\top}\mathbf{R}_{k_j}^{v_j,t_j}$只反映两个token之间的相对光线关系，与它们各自的绝对坐标无关。旋转矩阵$\mathbf{R}$把$\mathbf{m}$、$\mathbf{d}$两组3维坐标分别做RoPE、再与时间维的1D RoPE拼在一起，构成分块对角结构，从而在一个7维空间里同时编码「光线矩、光线方向、时间」三类相对关系。

为什么用相对而非绝对光线编码

绝对位置编码把某个具体场景范围内的坐标直接烧进模型，一旦推理时的相机位置、朝向或时间跨度超出训练分布，模型就没有见过对应的编码取值，外推能力很差。相对编码只依赖两个token光线之间的差值$\mathbf{R}_\Delta$，这个差值在训练分布之外仍然是「同一种关系」的自然延伸（就像RoPE让Transformer能处理比训练序列更长的文本一样），因此天然支持任意相机数量、任意视角布局、任意帧率下的外推，这也是RAYNOVA不需要点云或BEV等显式3D先验就能保持时空一致性的关键原因。

局部-全局交替的双因果Transformer

每个Transformer块依次执行三种注意力：图像内自注意力（沿用Infinity预训练权重，只在同一图像的前缀尺度内做注意力，保证单图真实感，使用归一化到统一分辨率的轴向2D RoPE）；全局自注意力（新增、零初始化，让每个token按公式里的双因果顺序看到所有视角、所有历史帧的前缀token，并使用上面的相对光线编码，负责时空一致性；训练时用带掩码的自注意力，推理时靠KV缓存去掉掩码）；条件交叉注意力（逐图像独立，把T5编码的文本、投影到图像空间后经MLP/PointNet编码的3D框与地图元素特征，与视觉token做交叉注意力，同样用轴向2D RoPE增强条件的定位精度）。为了在这种「视角无序」的结构里区分不同摄像头，模型开头还额外附加了一个逐帧的局部绝对Plücker光线嵌入。

循环训练范式

受限于显存，自回归模型一次只能在少数帧上训练，但推理阶段要用滑窗生成长视频，训练/推理分布不一致会导致误差累积。RAYNOVA的循环训练逐帧向前传播：先给当前帧的可见token加入随机比特误差以模拟推理时的预测错误，再用KV投影层把过去帧缓存的潜特征转换成当前步可用的KV，模型输出预测和新的潜特征后，把潜特征（而非投影后的KV本身）截断梯度存入长度受限的缓存队列，每帧单独反传以节省显存，直到整段长序列结束才统一更新参数、清空累积梯度。缓存潜特征而不是缓存KV，既能省一半显存，又能保证KV投影层留在计算图里，从而学到跨帧的时间信息提取方式。

小结

RAYNOVA的关键是把「尺度自回归」和「时间自回归」统一到同一个自回归公式里，并用相对Plücker光线的RoPE取代显式3D先验来承载时空一致性，使世界模型能在几乎不依赖固定相机配置的情况下做多视角驾驶视频生成与新视角外推。

实验在nuScenes（6相机约5小时）与nuPlan（8相机约55小时）混合数据上进行，模型基于130M/2B参数Infinity预训练模型，均在32块A100上训练。评测覆盖生成质量（FID/FVD/吞吐率）、条件保真度、运动合理性与新视角合成，RAYNOVA在几乎全部指标上超过依赖3D先验或分离时空建模的基线。

关键数据

RAYNOVA把视觉自回归模型中的「next-scale prediction」范式从单图推广到多视角、多帧的4D时空场景，证明相对光线位置编码可替代点云、BEV等显式3D先验维持时空一致性，为自动驾驶世界模型提供几何无关、可异构数据扩展的路线，其相对Plücker-RoPE构造也为后续任意相机布局、任意帧率的具身/驾驶视频生成模型提供了可复用方案。

局限与不足

RAYNOVA为了降低对相机配置的归纳偏置，采用了图像级VAE编解码器而非跨视角/跨帧联合的3D-aware编解码，论文自己也指出这一设计可能拉高FID/FVD数值，说明「几何无关」与「视觉质量上限」之间存在权衡；地图条件的投影因缺少高度信息而不完美，只能靠采样点近似地面元素；循环训练依赖KV潜特征滑窗缓存，缓存长度M仍是有限窗口，超长时间跨度下的漂移是否被完全消除未有专门验证；此外，模型规模从130M到2B带来明显提升，意味着当前效果在一定程度上依赖大模型和32卡A100级别的训练资源，尚未验证在更小算力预算下的可用性；实验也仅限于nuScenes/nuPlan驾驶场景，向更通用的具身或机器人场景迁移的效果未在文中给出证据。