← 返回论文库
前沿 Recent CVPR 2026 · 2026 arXiv:2601.05848 ↗

Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals目标力:让视频模型学会完成物理条件目标

让视频模型只用一个「目标力」向量,自己规划出因果链条去达成物理效果。

作者:Nate Gillman, Yinghua Zhou, Zitian Tang, Evan Luo, Arjan Chakravarthy, Daksh Aggarwal, Michael Freeman, Charles Herrmann, Chen Sun
机构:Brown University; Cornell University
发布:CVPR 2026
时间:2026-01-09
视频生成物理仿真可控生成世界模型时序建模
原文摘要 · English Abstract

Recent advancements in video generation have enabled the development of "world models" capable of simulating potential futures for robotics and planning. However, specifying precise goals for these models remains a challenge; text instructions are often too abstract to capture physical nuances, while target images are frequently infeasible to specify for dynamic tasks. To address this, we introduce Goal Force, a novel framework that allows users to define goals via explicit force vectors and intermediate dynamics, mirroring how humans conceptualize physical tasks. We train a video generation model on a curated dataset of synthetic causal primitives—such as elastic collisions and falling dominos—teaching it to propagate forces through time and space. Despite being trained on simple physics data, our model exhibits remarkable zero-shot generalization to complex, real-world scenarios, including tool manipulation and multi-object causal chains. Our results suggest that by grounding video generation in fundamental physical interactions, models can emerge as implicit neural physics simulators, enabling precise, physics-aware planning without reliance on external engines. We release all datasets, code, model weights, and interactive video demos at our project page, https://goal-force.github.io/.

概要

视频世界模型常用文本或目标图像指定任务目标,但文本太抽象、目标图像又难以精确设定动态过程。本文提出「目标力(Goal Force)」范式:用户只给出起始帧和一个作用在目标物体上的期望力/运动向量,模型需要自己反向规划出能产生该效果的前置因果动作(比如先用哪个球去撞哪个球)。训练只用了多米诺、滚球、花草摇摆等简单合成物理数据,却能零样本泛化到工具使用、人-物交互等复杂真实场景,说明模型学到的是可迁移的隐式物理规划能力,而非死记硬背。

此前的可控视频生成主要有两条路:文本或目标图像指定「终态」,以及Motion Prompting、Force Prompting等直接指定「运动轨迹/力」作为即时因果的方法。这些方法要求用户显式给出完整轨迹或直接施加的力,本质上是「what-if」式的正向模拟器——给什么因,直接生成什么果,无法处理「只知道想要的效果,不知道该怎么达成」的场景,也无法像人类一样把长期抽象目标拆解为带物理属性的中间子目标。

关键贡献

  • 提出目标力(Goal Force)这一新任务与新模型,让视频模型能规划一整条物理因果链去实现指定的目标力,而不只是直接施加力。
  • 设计了一套新训练范式,用目标力、直接力、质量三通道控制信号,让模型学会在推理时充当隐式神经物理模拟器,无需依赖外部物理引擎。
  • 证明了仅用多米诺、滚球等简单合成数据训练,模型也能强泛化到工具操作、人-物交互、多物体连锁碰撞等复杂真实场景。
  • 提出基于JSD的多样性度量指标,验证模型对同一目标力能采样出多种合理但不同的因果规划路径,而非模式坍缩。
  • 构建了多套评测基准(文本对比人类研究、视觉规划准确率基准、质量感知基准),系统验证目标力规划的可靠性与物理一致性。

方法详解(完整做法)

总体思路

目标力把「力条件视频生成」从「直接指定力」(因)重新定义为「声明期望达成的力」(果)。给定起始帧 ϕ\phi 和文本提示 τ\tau,用户在目标物体上指定一个想要的「目标力」,模型必须自己生成一段物理上合理的前置因果链(比如球A先撞向球B),使目标物体最终产生该目标力。为此作者设计了一个三通道物理控制信号,并配合一套「随机掩码」训练策略,把这套控制信号接到预训练视频扩散模型 Wan2.2 上,用 ControlNet 微调完成整个任务。

三通道物理控制信号

模型接收一个三通道的物理控制张量,各通道分别编码「直接力(因)」「目标力(果)」和「质量」这三种物理量,用移动的高斯斑块表示力的位置、方向和大小:

π~∈Rf×3×h×w\tilde{\pi} \in \mathbb{R}^{f\times 3\times h\times w}

通道0(直接力)沿用 Force Prompting 的做法,用一个移动高斯斑块的轨迹与持续时间正比编码力矢量;通道1(目标力)用同样的表示方式编码期望在目标物体上产生的运动/力;通道2(质量)用静态高斯斑块的半径正比编码物体的相对质量,且该通道是可选的——不提供时模型转而依赖自身在预训练中学到的物理先验去估计质量。三个通道内的力与质量数值都只是在各合成数据域内部相对归一化,而不是绝对物理单位,这样模型学到的是「小力/大力」这种相对概念,更容易泛化到未知量级的场景。

随机掩码训练:从目标反推因果,从动作预测结果

训练数据里,球碰撞和多米诺场景天然提供了成对的(直接力,产生的目标力)标注。关键训练技巧是对每条训练视频随机掩掉其中一条因果信息:只提供直接力(通道0置零通道1)或只提供目标力(通道1置零通道0),迫使模型同时学两种推理方向。用分段函数可以形式化这一掩码过程,其中 FcF_c 表示通道 cc 上的真值信号:

πc={Fc,c 未被掩码0,c 被掩码c∈{0,1}\pi_c=\begin{cases}F_c, & c\ \text{未被掩码}\\ 0, & c\ \text{被掩码}\end{cases}\qquad c\in\{0,1\}

当只给目标力时(Goal → Plan),模型必须推断并生成能导致该结果的前置直接力事件;当只给直接力时(Action → Outcome),模型必须模拟由此产生的碰撞与次级力。这种双向训练是让模型既能「向前仿真」又能「向后规划」的核心设计——若只用单向数据训练,模型学到的只是正向物理模拟器,不会具备反向因果规划能力。文本提示只用来设定语义场景(如「一张台球桌」),并不指定具体该撞哪个球,这种刻意保留的歧义性正是逼迫模型依靠内部先验去自主规划因果链条的关键。

质量通道与隐式物理先验(质量理解)

质量通道(Ch 2)在训练中同样被随机掩码:有时提供物体的相对质量斑块,有时完全不提供。这让模型学会两件事:一是在有「特权物理信息」(质量)时优先利用它去决定该用多大力度、多快速度去撞击;二是在没有该信息时,退回到视频生成模型本身从外观、材质等视觉线索里学到的物理先验去估计质量——论文称之为「质量理解」。这一设计让目标力框架同时兼容「用户提供精细物理参数」和「完全靠模型自身常识」两种使用场景,不需要为每种输入都重新设计接口。

ControlNet 架构与高噪声专家微调

底座模型是 Wan2.2,一个混合专家(MoE)扩散模型。作者用 ControlNet 模块接入物理控制信号 π~\tilde{\pi}:克隆预训练 Wan2.2 的前10层 DiT 层作为可训练分支,通过零卷积(zero-convolution)把这些层的输出注入冻结的主干网络。控制信号先经冻结的 Wan2.2 编码器编码,再过一个随机初始化的 patch embedding 层送入 ControlNet 的 DiT 层。作者只微调「高噪声专家」,因为该专家主要负责全局结构与低频动态,与物理规划任务的性质更契合;微调仅需3000步、有效批大小4(4张A100,每卡1个样本),48小时内完成,训练与推理都使用81帧、16FPS的视频。

视觉规划的评测指标:准确率与多样性

为量化「规划」是否合理,作者设计了两类指标。视觉规划准确率定义为在过滤掉视觉退化的有效试验中,目标力被正确的、未被阻挡的物体触发的比例:

Accuracy=# Success# Valid×100%\mathrm{Accuracy}=\frac{\#\,\mathrm{Success}}{\#\,\mathrm{Valid}}\times 100\%

多样性则用基于 Jensen-Shannon 散度(JSD)的指标衡量:给定 NN 个可能的因果起始点集合 SS,以及模型采样得到的经验分布 p^\hat p,定义

δ(p)=1−JSD(p^ ∥ Unif(S))\delta(p)=1-\mathrm{JSD}\big(\hat p\,\|\,\mathrm{Unif}(S)\big)

该指标在模型均匀采样全部合理规划路径时取最大值1.0,在完全模式坍缩(只选一个固定起点)时取基线值约0.39。用这两个指标能分别检验模型是否「选对了正确的因果起点」以及是否「不会退化成单一确定性方案」,这比单纯看生成视频是否好看更能反映模型是否真的在做规划而不是记忆。

小结

目标力的关键不是提出了一种新的控制信号编码方式,而是通过「双向随机掩码」训练,把一个原本只会正向模拟力的视频扩散模型,逼成了一个能反向规划因果链条的隐式物理规划器。

完整流程。 数据构造:用 Blender 和 PhysDreamer 生成多米诺(3k)、滚球(6k)、花草摇摆(3k)三类合成视频,标注直接力与由此产生的目标力 → 构造三通道控制张量并随机掩码通道0/1(及质量通道2) → 用 ControlNet(克隆 Wan2.2 前10层 DiT,仅微调高噪声专家)接入控制信号,3000步微调 → 推理时用户只给起始帧、文本提示和目标力,模型自主生成前置因果动作视频。

实验与关键数据

评测包括75场景人类2AFC偏好研究(对比两个纯文本基线,覆盖四类递增泛化难度场景)、22个含天然阻挡物场景的视觉规划准确率测试、六米诺骨牌多样性实验,以及质量感知球碰撞实验。结论:目标力信号是达成目标不可或缺的,模型的规划在准确性、多样性和质量敏感性上均接近物理常识。

关键数据

两物体碰撞场景 目标力达成人类偏好率(vs 零样本文本基线)
73.4%
vs Text-only(Fine-tuned基线) 66.9%(+6.5)
厨房柠檬场景 视觉规划准确率
100.00%
vs 随机基线 33.3%(+66.7)
台球场景 视觉规划准确率
97.96%
vs 随机基线 33.3%(+64.66)
卷石(Curling Stones)场景 视觉规划准确率
75.51%
vs 随机基线 33.3%(+42.21)
六米诺骨牌任务 多样性得分 δ(p)
0.6577
vs 确定性基线 Unif{0} 0.3900(+0.2677)

影响与局限

该工作把视频世界模型的可控接口从「直接力/轨迹」升级为「目标/效果」,让模型承担起因果规划者的角色,为机器人和具身智能中的视觉规划提供了一种不依赖显式物理引擎的新路径,后续工作可以在此基础上扩展到更复杂的多步任务规划与真实机器人执行验证上。

局限与不足

目标力和质量数值都是各合成数据域内部的相对归一化量,并非绝对物理单位,模型学到的是相对强弱关系而非精确物理量级,超出训练分布过多的质量/力比例组合可能失效(论文的分布外质量实验里四个速度关系中已有一个未能严格满足)。评测中的视觉规划准确率统计还需要人工过滤掉视觉退化(如物体幻觉)的试验,说明基础视频扩散模型的生成质量本身仍会引入噪声,影响对「规划能力」的干净测量。此外训练数据仅覆盖球、多米诺和单一种类花卷这几类简单刚体/软体动力学,工具使用、人-物交互等复杂场景的泛化完全依赖底座模型的先验,缺乏系统的失败率统计,泛化边界尚不明确。