神经高斯力场：从视觉观测中学习物理落地的4D动态 · Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields

原文摘要 · English Abstract

Predicting physical dynamics from visual data remains a fundamental challenge in Artificial Intelligence (AI), as it requires both accurate scene understanding and robust physics reasoning. While recent video generation models achieve impressive visual quality, they lack explicit physics modeling and frequently violate fundamental laws like gravity and object permanence. Existing approaches combining 3D Gaussian splatting with traditional physics engines achieve physical consistency but suffer from prohibitive computational costs and struggle with complex real-world multi-object interactions. The key challenge lies in developing a unified framework that learns physics-grounded representations directly from visual observations while maintaining computational efficiency and generalization capability. Here we introduce Neural Gaussian Force Field (NGFF), an end-to-end neural framework that learns explicit force fields from 3D Gaussian representations to generate interactive, physically realistic 4D videos from multi-view RGB inputs, achieving two orders of magnitude speedup over prior Gaussian simulators. Through explicit force field modeling, NGFF demonstrates superior spatial, temporal, and compositional generalization compared to state-of-the-art (SOTA) methods, including Veo3 and NVIDIA Cosmos, while enabling robust sim-to-real transfer. Comprehensive evaluation on our GSCollision dataset—640k rendered physical videos (~4TB) spanning diverse materials and complex multi-object interactions—validates NGFF's effectiveness across challenging scenarios. Our results demonstrate that NGFF provides an effective bridge between visual perception and physical understanding, advancing video prediction toward physics-grounded world models with interactive capabilities.

概要

该论文提出神经高斯力场（NGFF），把4D视频预测建模为在3D高斯场景表示上学习显式力场、再用ODE积分出未来状态的过程。它先用前馈式多视角重建把RGB图像转为按物体分组的3D高斯，再用关系图神经算子预测物体间的全局力与局部应力场，通过二阶ODE求解器把力场积分为连续、物理合理的运动轨迹，最后用高斯泼溅渲染出视频。相比依赖真实物理引擎的高斯模拟方法，NGFF把模拟过程也变成可微、可学习的神经算子，推理速度提升约两个数量级，同时在空间、时间与组合泛化上超过SOTA视频生成模型与传统MPM方法。

此前的视觉物理预测大致分两条路：一是依赖精确物体中心状态或隐式体积编码的粒子/图网络方法，难以直接从RGB落地到物理量；二是把3D高斯泼溅与传统物理引擎（如MPM）结合的方案，虽能保证物理一致性，却因显式仿真开销大、预设仿真器与参数难以泛化，在复杂真实世界多物体交互中表现不佳。与此同时，Veo3、Cosmos等视频生成模型虽视觉效果逼真，却缺乏显式物理建模，经常违反重力、物体永存性等基本物理规律。

关键贡献

提出神经高斯力场框架，把物理动力学建模为3D高斯表示上的显式力场学习与ODE积分过程。
设计统一的全局-局部力场：关系图神经算子预测刚体间的接触与运动力，配合接触区域掩码预测软体的局部应力场，实现刚体与可变形体的联合建模。
构建前馈式多视角重建管线，结合DINOv2特征、交替注意力Transformer与SAM2实例分割，从无位姿RGB图像直接生成按物体分组的3D高斯。
构建GSCollision数据集：640k段基于MPM仿真渲染的物理视频（约4.25TB），覆盖10种材质、3200个场景与多种物体间/物体-地面交互。
在空间、时间、组合与外力四个泛化维度上系统评测，NGFF相比粒子法与传统物理引擎基线均取得更优精度，且推理速度提升约两个数量级。
验证了从合成数据到真实场景的sim-to-real迁移能力，在真实多视角物体下落实验中优于Veo3、Cosmos等视频生成模型。

方法详解（完整做法）

总体思路

NGFF把4D视频预测拆成「感知」与「动力学」两个可微模块：先用前馈式Transformer把多视角无位姿RGB图像重建为按物体分组的3D高斯场景表示，再学习一个作用在这些高斯物体上的神经力场，用二阶ODE求解器把力场积分成连续的物理轨迹，最后通过高斯泼溅把预测出的轨迹渲染回视频。整条流水线端到端可微，既能生成新视角、新背景下的视频，也支持外力干预下的交互式生成，且比传统的高斯+物理引擎方案快约两个数量级。

物体状态表示

每个物体 $q$ 在时刻 $t$ 的状态被编码为语义特征、零阶量与一阶量三部分：语义特征 $h_q$ 由PointNet从高斯中心点云提取；零阶状态包含局部点云 $x(t)\in\mathbb{R}^{M\times3}$ 、质心 $c(t)\in\mathbb{R}^3$ 与欧拉角朝向 $\theta(t)\in\mathbb{R}^3$ ；一阶状态则是对应的线速度与角速度：

$z_q(t)=\{h_q,\ s_q(t),\ \dot{s}_q(t)\},\qquad s_q(t)=\{x(t),c(t),\theta(t)\}$

这种「零阶+一阶」的显式状态划分让力场可以直接作用在位置与速度上，而不必依赖不可解释的隐向量。

前馈式三维重建与物体分割

输入图像先经DINOv2分词，再送入多层交替注意力Transformer提取跨视角的全局几何关系，三个解码头分别预测相机位姿、高斯中心（像素混洗解码）与高斯属性（透明度、旋转、缩放、颜色）。为了让力场按物体分开预测，用SAM2生成逐像素实例掩码并反投影到高斯上做多数投票分组，再用DiffSplat结合姿态估计对遮挡和不可见部分做拓扑补全，得到干净的物体级3D高斯集合。

全局力场：关系图神经算子

把K个交互物体建成关系图 $\mathcal{N}=(V,E)$ ，节点是各物体的状态 $z_i(t)$ ，边表示物理接触。全局刚体变换力（平移+旋转）由邻接物体状态的神经算子聚合得到：

$F_{global}(z_q(t)),\,F_{latent}(z_q(t))=\sum_{i\in\mathcal{N}(q)} W\big(f_\eta(z_i(t))\odot f_\phi(z_q(t))\big)+b$

其中 $f_\eta,f_\phi$ 是可学习编码器， $\odot$ 为逐元素乘， $W,b$ 把隐特征投影为力向量。这一形式同时刻画接触、滑动与重力等多种交互，且天然支持物体数量变化（4~6个物体的组合泛化）。

局部力场：软体形变的应力场

刚体假设无法描述枕头、绳子等软体的局部形变，因此引入网络 $\Phi$ 基于接触区域掩码（CAM）与全局力场输出的隐特征 $F_{latent}$ ，预测逐点的局部应力场：

$F_{local}(z_q(t))=\Phi\big(F_{latent}(z_q(t)),\ \mathrm{CAM},\ x_q(t),\ \dot{x}_q(t)\big)$

最终统一力场是全局刚体力与局部应力场的拼接 $F(z_q(t))=(F_{local},F_{global})$ ，使同一套框架既能模拟刚体碰撞也能模拟布料/绳索的可变形运动，这是NGFF区别于只处理刚体或只处理软体方法的关键设计。

二阶ODE轨迹积分

力场给出的是瞬时加速度信息，要得到连续轨迹需要对时间积分。NGFF用二阶ODE求解器把力场沿时间积分为位置与速度：

$z_q(t)=\mathrm{ODESolve}\big(z_q(0),F,0,t\big)$

$s(t)=s(0)+\int_0^t \dot{s}(t)\,dt,\qquad \dot{s}(t)=\dot{s}(0)+\int_0^t F(z_q(t))\,dt$

这一积分过程处处可微，使NGFF的预测既能与真值轨迹算MSE反传梯度，也能在推理时插值出任意时刻、任意长度的状态，而不必像传统仿真器那样按固定小步长逐帧展开。

两阶段训练策略

重建模块与动力学模块分开训练：重建模块以预训练的π3参数初始化，冻结特征编码器、点头和相机头，只在WildRGBD上用RGB与几何一致性损失微调高斯属性解码头；动力学模块单独在合成MPM仿真数据上用预测轨迹与真值轨迹的均方误差训练。这种解耦策略让真实视觉数据和合成物理数据各司其职，避免联合训练时物理监督噪声污染重建质量。

小结

NGFF的关键不是让力场“看起来像神经网络”，而是把力场设计成作用在物体级3D高斯状态上、可通过ODE积分为连续轨迹的显式算子，从而用一套统一框架同时覆盖刚体、软体、推理速度与sim-to-real迁移。

实验与关键数据

NGFF在自建的GSCollision数据集（640k段MPM仿真视频，10种材质，3200个场景）上评测动态预测与视频生成任务，覆盖空间、时间、组合与外力四个泛化维度，并用10台相机采集真实物体下落实验做sim-to-real验证，结果显示精度与推理速度全面超过粒子法、传统MPM及视频生成基线。

关键数据

GSCollision数据集规模

640k段视频/4.25TB

动态预测-空间泛化RMSE

0.082

vs Pointformer 0.096（-0.014，越低越好）

动态预测-组合泛化相关系数R

0.571

vs Pointformer 0.434（+0.137）

100步仿真推理耗时

0.363秒

vs 传统MPM(VLM-MPM) 39.29秒（约快108倍）

视频生成VLM评测-全场景PhysR

0.30

vs Cosmos微调版 0.24（+0.06）

影响与局限

NGFF把「感知—重建3D高斯—学习力场—ODE积分—渲染」串成一条可微流水线，说明物理约束可以像力场算子一样端到端学出来，而不必依赖预置物理引擎。它为视频生成提供了一条「物理落地」的替代路线：后续做交互式世界模型、具身仿真或sim-to-real迁移的工作可复用其物体中心高斯表示与力场算子设计，GSCollision也提供了新的物理评测基准。

局限与不足

论文本身在Discussion部分坦承局限：其一，NGFF依赖多视角RGB输入完成可靠的3D高斯重建，而人类的物理推理常常只需单视角或部分观测，这一「观测-重建」差距限制了模型在资源受限或动态环境下的部署，需要更强的几何/物理先验或生成式补全才能缓解；其二，当前评测仅覆盖10种代表性物体的刚体/软体材质与3200个场景，难以覆盖真实世界成千上万种物体类型、铰接结构与户外复杂光照/天气条件，扩展到这些场景还需要数据效率与跨材质泛化上的进一步突破；其三，模型当前更侧重物理一致性而非渲染质量，3D重建误差与简化渲染导致视觉保真度不及纯2D视频生成模型，物理准确性与视觉真实感之间仍存在权衡，作者认为需要与生成式重建/视频生成技术结合来弥补。