Video Panels for Long Video Understanding视频拼版：一种提升长视频理解能力的免训练视觉提示法

长视频理解的核心瓶颈是VLM上下文窗口有限，采样后时间分辨率被迫降低而空间分辨率不变，导致计算力被浪费在空间细节而非时序关系上。本文提出一种免训练、免参数、模型无关的视觉提示策略：把多帧按网格拼成一张「漫画分格」式拼版图，再把拼版图序列送入现有VLM，在不增加输入槽位数的前提下，用「牺牲部分空间细节」换来「更密的时间覆盖」。该方法可直接套用在任意现成VLM上，在5个长视频问答基准、8种VLM架构上带来一致提升，在时序定位类任务上收益尤为明显。

现有VLM在图像和短视频任务上表现优异，但一旦视频变长（D远大于上下文窗口C），只能依靠采样函数ϕ稀疏抽取T帧，时间分辨率被迫大幅下降，而每帧的空间分辨率不变。这造成计算资源在空间与时间维度上分配失衡：模型把大量算力用在解析单帧的空间细节，却缺乏足够帧数去建模事件顺序与长程时序依赖。此前的改进思路多是设计新的长上下文建模模块或对视觉token做压缩，但许多方法难以稳定超越上下文有限的基础模型本身。

关键贡献

• 提出首个专门针对长视频理解设计的视觉提示（visual prompting）方法，无需训练、无需新增参数即可接入任意现有VLM。
• 设计了依赖上下文窗口大小与视频时长比值的动态帧采样策略，仅在视频足够长时才触发拼版。
• 给出拼版图像的具体构造方式：先对采样帧降采样，再按左到右、上到下的顺序把αβ帧拼成一张网格图。
• 在VideoMME、TimeScope、MLVU、MF2、VNBench五个基准和8种不同架构、参数规模、上下文窗口的VLM上做了大规模验证，证明方法普遍有效。
• 证明拼版表示与微调是互补而非替代关系：用拼版格式微调模型能进一步带来性能增益。
• 与token池化（低分辨率）基线做对比，证明拼版在增加时间分辨率上优于单纯压缩视觉token的方案。

总体思路

本文把长视频理解建模为{x, q, y}三元组问答任务，模型需在给定视频与选择题的情况下输出正确选项字母。作者观察到：当视频时长D远超VLM上下文窗口C时，采样函数ϕ只能稀疏抽帧，导致时间分辨率骤降而空间分辨率不变，计算力被浪费在空间细节上。核心方案是「拼版」（paneling）：把多帧按网格拼成一张图，再把这些拼版图组成的序列作为VLM的新输入，在不改变最终输入张量形状、不增加参数、不需要训练的前提下，把节省下来的空间冗余换成更高的时间覆盖率。整个流程分两步——动态帧采样决定何时以及采多少帧，面板构造把采到的帧降采样并拼接成网格图；此外还探索了用微调进一步适配这种新输入格式。

问题形式化

数据集由{xi, qi, yi}组成，视频 $x\in\mathbb{R}^{D\times 3\times H\times W}$，时长为D，问题 $q\in\Sigma^{*}$ 来自字母表Σ的多选题，正确答案为y。VLM 的上下文窗口大小为C，决定了模型一次能处理的帧数（或token数）。当D远大于C（长视频场景）时，模型无法密集解析整段视频，必须通过采样函数将输入压缩到窗口允许的范围内：

$$\phi:\mathbb{R}^{D\times 3\times H\times W}\rightarrow \mathbb{R}^{T\times 3\times H\times W}$$

这一采样步骤正是造成空间-时间分辨率失衡的根源：H、W不变而T被迫大幅缩小。

动态帧采样

短视频和长视频对时序建模的需求不同，因此拼版策略只应在视频足够长时启用。作者引入超参数γ（决定触发拼版的采样帧间距下限）以及α、β（分别表示水平、垂直方向拼接的帧数），根据上下文窗口C与视频时长D的比值动态决定采样帧数T：

$$T=\begin{cases}C, & \text{if } \gamma C\ge D\\ \alpha\beta C, & \text{otherwise}\end{cases}$$

也就是说，只有当按γ帧间距采样仍不足以覆盖整段视频时，才把采样帧数扩大到αβC倍，为后续拼版腾出「原料」；否则直接沿用标准的均匀采样，不触发拼版。实验中作者发现α=β时效果最好，因此可将两者视为同一个超参数，默认设置为α=β=2。

面板构造

当触发拼版条件（γC<D）时，采样得到的视频 $x\in\mathbb{R}^{\alpha\beta C\times 3\times H\times W}$ 帧数过多，无法直接塞进上下文窗口。做法是先将每帧降采样到 $x'\in\mathbb{R}^{\alpha\beta C\times 3\times H/\alpha\times W/\beta}$，再把每连续αβ帧按从左到右、从上到下的顺序拼接成一张网格图，使最终输入 $x''\in\mathbb{R}^{C\times 3\times H\times W}$ 的形状与模型原本期望的标准输入完全一致。以默认设置α=β=2为例，第i张拼版图由4帧组成：

$$x''_i=\begin{bmatrix}x'_{4i} & x'_{4i+1}\\ x'_{4i+2} & x'_{4i+3}\end{bmatrix}$$

这样，模型每处理一个「槎位」实际看到的是原本αβ个时刻的画面，时间覆盖率被放大了αβ倍，而输入张量的维度约束丝毫未变——这是该方法能做到「即插即用」的关键：VLM本身完全不需要知道输入是拼版图，其强大的预训练视觉编码器会自然而然地把网格内的空间共现关系也当作可用信号，从而附带地学会推断时序关系。作者也尝试过在文本提示中说明「这是拼版图」，但没能找到对所有模型都通用的描述方式，因此默认不额外添加任何文字提示。

为什么拼版优于单纯压缩token

一种直觉的替代方案是直接对视觉token做池化（比如空间维度平均池化）来腾出「预算」给更多帧，但作者发现拼版持续优于同等token预算下的池化基线（对应实验中的low-res基线，使用25088个token，略多于拼版的23328个）。原因在于：池化是在特征层面损失细粒度空间信息，而拼版把降分辨率的操作放在像素层面，让VLM本就擅长处理的高分辨率视觉编码器继续在完整分辨率的网格图上工作，只是每张图承载的时刻数变多了。这与此前「提升图像分辨率比单纯堆token数更有效」的发现是一致的，拼版可以看作是这一思路的反向应用：不是把一张高分图切成多块，而是把多张高分帧合并成一张图。

微调目标

除了零样本直接套用，作者还探索了在拼版格式下微调VLM是否能进一步提升效果。微调直接沿用原始训练数据中的视频-问题对，但把视频替换为拼版表示，通过最大化正确选项似然来监督：

$$\ell_{FT}(x,q,y)=-\log p_\theta(y\mid x,q)$$

实验发现，用拼版格式微调（微调projector和LLM模块）比零样本应用进一步带来增益，且优于用标准输入格式微调，说明拼版不仅是一种推理期技巧，也是一种更适合长视频的通用输入表示。

小结

这篇论文的关键洞见是：长视频理解的瓶颈往往不是模型能力不足，而是「空间-时间预算分配」的失衡，用几乎零成本的图像网格拼接（paneling）就能把节省下来的空间冗余重新分配给时间覆盖，且这种表示天然适配预训练视觉编码器，训练与免训练场景都能获益。

实验覆盖VideoMME、TimeScope、MLVU、MF2、VNBench五个长视频问答基准，及8种覆盖8-180帧上下文的VLM，用lmms-eval统一评测。结论：拼版在几乎所有模型/数据集组合上均带来一致提升，时序定位任务上收益最突出。

关键数据

该工作把长视频理解的改进思路从「设计新架构/新模块」拉回到「输入层面的视觉提示工程」，证明不改架构、不追加训练数据也能显著缓解VLM的时间分辨率瓶颈。其训练无关、模型无关的特性使其可作为几乎任何现成VLM的即插即用增强手段，也为后续研究在评估长视频模型时提供了一个廉价但强力的对照基线。

局限与不足

该方法依赖预训练视觉编码器本身具备从网格图像中解耦并推断跨子图时序关系的能力，若某个VLM的视觉编码器对网格状拼接图像的空间先验不敏感，增益可能有限，论文中也确实观察到少数模型-数据集组合（如VideoLLaMA 3 7B在MF2上）性能出现小幅下降。此外，拼版本质上仍是空间换时间的折衷，降采样导致的空间细节损失对依赖细粒度视觉信息（如细小物体识别）的问题可能不利；α、β取值增大时时间覆盖率提升但空间退化加剧，存在明显的边际收益递减和调优成本。方法也未找到一种能在所有模型上通用的文本提示描述来进一步提示模型「这是拼版图」，说明其收益对特定模型的先验知识和训练分布仍有一定依赖，未能做到完全与提示语无关。最后，实验中的微调仅在LLaVA-OneVision 7B单一模型上验证，其在更大规模模型或其他架构上的可迁移性尚待更多验证。