Thinking in Frames: How Visual Context and Test-Time Scaling Empower Video Reasoning在帧中思考：视觉上下文与测试时缩放如何赋能视频推理

本文提出把视频生成模型当作视觉推理引擎：给定初始状态图像与目标条件，让模型逐帧生成视频，把中间帧当作显式推理步骤，而不是先把视觉信息转成文字坐标再规划。论文设计两个互补场景——低视觉变化、离散动作的迷宫导航，以及高视觉变化、连续几何操作的新基准七巧板拼图——比较微调后的视频生成模型与GPT-5.1/5.2、Qwen3-VL等大模型及VPRL、Qwen-Image-Edit等基线。结果显示视频生成模型在分布内外均领先文本式规划器，且存在类似大语言模型的「视觉测试时缩放」：增加帧数能持续改善分布外泛化，直到架构上限。

此前的视觉推理研究主要依赖多模态大模型把图像信息转成文字或坐标再做符号规划，但这类方法在细粒度空间理解和连续动作规划上普遍表现不佳，难以模拟复杂视觉动态所需的因果关系。已有把视频生成用于规划的工作（如VPRL）只验证了网格迷宫这种视觉基本静止、只有一个小图标移动的场景，容易被符号化代理绕开，未能体现视频生成模型建模连续动作空间的独特优势，也没有系统研究视觉上下文与推理时计算量对泛化能力的影响。

关键贡献

• 首次把视频生成模型系统地定义为视觉规划问题的求解器，将生成的中间帧视为推理步骤而非单纯的媒介产出
• 提出七巧板拼图这一高视觉变化、连续几何操作的新基准，弥补迷宫导航视觉变化小、易被符号化方法绕开的缺陷
• 为七巧板拼图设计了严格目标达成率、分步进度达成率与边界IoU三层像素级评测体系，覆盖完全成功到几何精度的不同粒度
• 通过Fade-In、Rotation、Translation三种视觉上下文强度的对照实验，证明显式视觉先验是几何规划的关键控制信号
• 发现视频生成模型存在「视觉测试时缩放律」：增加生成帧数能持续提升分布外长程规划的泛化能力，直到位置编码的架构上限
• 系统比较了视频生成与图像编辑两种范式在可解释性、保真度与优化目标上的权衡

总体思路

本文把视频生成模型直接当作视觉推理的求解器：给定初始状态图像和目标条件，让模型逐帧生成一段视频，把中间帧当作显式的推理步骤，而不是把视觉理解转成文字坐标再规划。整套流程围绕两条评测线展开——离散的迷宫导航（MazeNavigation）和连续的几何拼接（TangramPuzzle）——分别检验模型在低视觉变化的序贯逻辑任务和高视觉变化的空间几何任务上的表现，并进一步分析视觉上下文的作用，以及推理时增加生成帧数（视觉测试时缩放）对分布外泛化能力的影响。

视觉规划的形式化

论文将视频生成形式化为一个视觉规划问题：给定起始状态 $s_{start}$、目标条件 $g$ 与一组隐含的物理约束 $c$，生成模型需要输出一段满足目标的视频序列，其中帧与帧之间的时序演化对应规划中一步动作的执行：

$$V=\{v_0,v_1,\dots,v_T\},\quad v_0=s_{start},\quad P_\theta(V\mid s_{start},g)$$

与输出离散动作的符号规划器不同，视频模型直接输出连续、高维的稠密状态转移，需要隐式学习潜在的物理规则和因果动态，而不是显式给出可解释的动作序列。

两种推理范式的对照设计

以往工作大多只用网格迷宫检验视觉规划，场景视觉基本静止、只有一个小图标移动，很容易被符号化方法绕开求解。本文额外引入TangramPuzzle：模型要把7块互不重叠的几何拼图块从散落状态搬到目标轮廓内，整幅画面在旋转平移过程中持续大幅变化，路径长度由拼图块数固定而非搜索深度决定，这类连续几何操作是纯文本坐标推理难以精确表达的。两个任务分别代表「低视觉变化+离散动作」与「高视觉变化+连续动作」两端，共同构成一个视觉推理谱系，用来检验视频生成模型能力的边界。

七巧板拼图的三层评测指标

针对TangramPuzzle，论文用像素级解析器在最终生成帧上定义了三层评测。严格目标达成率要求所有拼图块都落入轮廓内且形状、颜色不失真才算成功：

$$S_{strict}=\prod_{i=1}^{N}\mathbb{I}\big(p_i\in g \wedge \mathrm{consistent}(p_i)\big)$$

分步进度达成率统计正确落位的拼图块比例，用来衡量部分完成情况：

$$S_{progress}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{I}\big(p_i\in g \wedge \mathrm{consistent}(p_i)\big)$$

边界IoU用生成区域与目标轮廓的交并比衡量像素级贴合精度：

$$S_{IoU}=\frac{\mathrm{Area}(P_{gen}\cap P_{target})}{\mathrm{Area}(P_{gen}\cup P_{target})}$$

三者从「全对才算数」到「贴合程度」逐级放宽，能同时刻画完全成功、部分成功与几何精度三种粒度的失败模式，而不是只看一个笼统的准确率。

视觉上下文作为几何先验

论文特意设计了Fade-In、Rotation、Translation三种视觉上下文强度递增的变体，用来拆解「视觉先验」这一个变量的作用，而不是笼统地说视觉上下文有用。Fade-In不给任何形状先验，模型几乎学不会（严格达成率仅0.80%）；Rotation保留了形状但要求模型自己完成旋转，效果居中（22.4%）；Translation把形状与朝向都预先给定，模型只需搬运位置，效果最好（68.0%）。这组对照直接证明：视觉上下文起的作用类似显式的几何参考图，先验保留得越完整，模型越不需要「凭空想象」几何变换，规划任务就退化成更简单的空间搬运问题——这也解释了为什么迷宫任务里换成陌生图标几乎不影响精度，因为模型学到的是与图标外观解耦的移动策略，而不是记忆特定像素轨迹。

视觉测试时缩放律

论文类比大语言模型的测试时计算，把「生成帧数」当作视觉推理的推理预算。把总帧数从81增加到121时，分布外的空间（更大迷宫）和时间（更长路径）泛化性能都持续提升；但继续加到141帧后性能反而下降，原因是视频模型位置编码的外推能力在帧数远超训练分布时会失效。论文还引入缩放因子 $\kappa$（每一步分配的帧数）作为对照变量，$\kappa$ 越大单步动作被切分得越细，在 $\kappa=9$ 之前性能持续提升，说明收益来自更精细的逐步推理而非单纯视频变长；继续增大到 $\kappa=11$ 时总帧数逼近约200帧的架构上限，性能又开始下降。

小结

这篇论文的关键不是训练了一个更强的视频生成器，而是证明「让模型逐帧生成中间状态」本身就是一种可扩展、可泛化的视觉推理机制，视觉上下文是它的几何先验输入，生成帧数则是它的推理预算。

主干为LoRA微调的Wan2.2-TI2V-5B，对照GPT-5.1/5.2、微调后的Qwen3-VL-8B、VPRL-7B及Qwen-Image-Edit-2509等基线。迷宫覆盖3×3到8×8网格及40种图标，七巧板数据改造自已有抽象图案识别数据集。视频模型在两类任务的分布内外均全面超过文本式规划基线。

关键数据

本文延续了将视频生成用作视觉规划器的研究路线（如VPRL），首次把评测场景从纯离散、低视觉变化的迷宫扩展到连续几何操作，并把大语言模型的测试时计算思路迁移到视觉生成领域，提出「视觉测试时缩放」这一新现象。它为后续把视频生成模型当作通用世界模型或规划器的工作提供了可复用的评测协议与缩放律证据。

局限与不足

论文的评测场景仍局限于合成的迷宫与七巧板环境，尚未验证在真实世界连续操作任务（如机器人抓取、真实场景导航）上是否成立。视觉测试时缩放存在明显的架构上限：帧数或缩放因子超过一定阈值后，视频模型位置编码的外推能力失效，性能不升反降，说明这一缩放律并非无限可扩展。TangramPuzzle上视频生成模型的绝对精度仍落后于图像编辑基线（如Fade-In仅0.80% vs 31.0%），论文将其归因于视频生成需要建模整段序列的联合概率而非单一条件边缘分布，但并未完全排除模型规模差异（图像编辑模型参数量为视频模型的两倍）带来的混淆。此外，增加帧数对TangramPuzzle的收益远不如MazeNavigation明显，说明缩放规律是任务依赖的，论文尚未给出统一的理论解释来预测何时缩放会失效。