CrossView: Can Vision-Language Models Reason Across Cameras?CrossView：视觉-语言模型能跨相机构建推理吗？

现实世界的感知几乎都是多相机网络：自动驾驶环视、安防监控、机器人腕部与顶部相机同时工作，但现有视频评测几乎只在单相机流上做。CrossView 把「跨相机推理」立成独立问题——题目必须整合多个同步视角才能求解。做法是两阶段流水线：先用四个数据集构造统一时空场景图 STSG，再由程序化引擎查询这张图，算法化选出锚点与答案，最后交 GPT-5.2 润色成语言。正确性由图中事实决定，GPT-5.2 只负责措辞不参与出题。评测暴露的跨相机落差是结构性发现：专有模型在若干任务上跌至接近随机。

单相机假设长期主导视觉评测，主流多模态语言模型在图像与视频任务上已接近饱和。但现实系统天然多相机：自动驾驶融合环视、安防网络跨不重叠视场追踪目标、机器人协调腕部与顶部相机。多相机问题不只是数据更多，而是出现三个单相机没有的难点：上下文随视角数扩展；遮挡只被某路相机看到、须跨视角补全；视场有重叠也有分离，模型须判断哪路相机最相关再整合证据。现有数据集只覆盖单一侧面，缺一个逼模型做完整综合推理的基准。

关键贡献

• 提出 CrossView，首个专门针对多相机视频的多视角问答基准，覆盖自动驾驶、安防监控、自中心-外中心视频与机器人四个真实领域，题目必须综合多个同步视角才能作答。
• 设计统一的时空场景图 STSG 构造框架，把异构的源数据标注（LiDAR 融合 3D 框、事件时间戳活动轨迹、ego-exo 对应、逐技能动作标签）归一到同一张图上。
• 提出跨相机实体解析机制，在互不重叠的视角之间处理目标重识别，从而保证不同相机里的同一实体可被图查询正确关联。
• 给出程序化出题引擎：由算法化规则确定接地事件、目标答案与干扰项，GPT-5.2 仅渲染表层措辞，使得无需人工重标就能得到可检验的真实答案。
• 对专有模型（GPT-5.2）与开源模型（Qwen、InternVL、Gemma 等）做系统性评测，暴露跨相机设置下的性能缺口，并证明显著低于单相机水平。
• 分析问题类型与输入组织方式的影响，指出计数、评判哪路相机最相关等需要跨视角综合的任务最难，缺口不因模型家族或规模而消失。

总体思路

CrossView 不是训练一个模型，而是构造一个逼模型「跨相机推理」的评测。它走两阶段流水线：第一阶段把四个现成数据集的异构标注统一成一张时空场景图 STSG——节点是带活动标签、描述与事件区间的对象，边是对象间的空间关系；第二阶段由程序化引擎查询这张图，用算法化规则确定接地事件（作问题锚点）、目标事件（作答案）与干扰项（作选项），再让 GPT-5.2 把这些结构化元数据润色成通顺的自然语言。关键设计是正确性由图的确定性查询保证，GPT-5.2 只做表层措辞、不参与出题与选答案。

时空场景图 STSG 的构造

先做多模态感知与元数据整合：对每个场景抽取对象轨迹与空间坐标——nuScenes 用 LiDAR 融合的 3D 框，MEVA 用事件时间戳的活动轨迹，Ego-Exo4D 用 ego-exo 对应关系，AgiBot 用逐技能动作标签。为使图节点可查询，需跨相机实体解析：在不重叠视场间对同一目标做重识别，保证不同相机里的实体被正确关联。对每一时刻 $t$，把带活动标签、描述与事件区间的对象作为节点，对象间的空间关系作为边，得到时刻快照： $$\mathcal{G}_{t}=\{\mathcal{N}_{t},\mathcal{E}_{t}\}$$ 其中 $\mathcal{N}_{t}$ 为对象节点集，$\mathcal{E}_{t}$ 为空间关系边集。

事件区间：把时间切成语义段

STSG 的节点必须带上「何时发生什么」。做法是按「同一对象的活动标签是否保持一致」归并连续时间戳，把一个事件记成区间 $[t_{start},t_{end}]$，起止时刻写作 $E.\mathrm{start}$ 与 $E.\mathrm{end}$： $$t\in[t_{start},t_{end}]\ \Rightarrow\ t\ \text{falls inside event}\ E$$ 这层时间索引是时序题与事件排序题的语义骨架——它把连续的视频流切成可编号、可比较的离散事件，题目才有明确的「前/后/其中」。

程序化出题与干扰项

每道题都按「锚点—目标答案—干扰项」的三元组结构生成：先从图中挑一个接地事件或对象作锚点，再选要考的目标事件或对象，最后采样三类干扰项——空间干扰（时间正确但方向错误）、时序干扰（事件正确但时刻错误）、存在性干扰（场景中根本没有该对象）。选中后交由 GPT-5.2 渲染成通顺的问题与选项。为什么要这么设计：图的查询是确定性的，答案只由图中的事实决定，因此不靠人工重标也能保证真实答案正确；而把 GPT-5.2 严格限定在措辞层，既借重其表达能力，又隔绝了它擅自改题、编造选项的可能。

时序关系谓词

时序题靠四种谓词把两个事件连起来，全部落在对区间端点的比较上。Before 当 $E_t.\mathrm{end}<E_g.\mathrm{start}$，After 当 $E_t.\mathrm{start}>E_g.\mathrm{end}$，During 当两事件在时间上重叠超过较短事件时长的 50%，In-between 则用两个互不重叠的接地事件 $E_{g1},E_{g2}$ 界定、目标事件完全落在二者之间的空档： $$E_t.\mathrm{end}<E_g.\mathrm{start}\ \Rightarrow\ \mathrm{Before},\qquad E_t.\mathrm{start}>E_g.\mathrm{end}\ \Rightarrow\ \mathrm{After}$$ 这些谓词把时序约束变成精确的代数判断，让出题引擎能稳定、可复现地产生有明确单一答案的题目。

帧预算与输入组织

为跨模型公平对比，按模型原生上下文长度设定逐相机帧预算；对受限模型额外将其降到较低预算重测，模型排名保持不变。题面帧数按「每相机」而非「每题」计：CrossView 的题目覆盖 1 到 16 路同时相机（跨数据集平均约 6 路），单题可携带 16 到 256 帧。之所以要设计成这样，是因为只有让上下文规模随相机数真实扩展，才能把「模型是否真的在联合处理多视角」与「模型只是帧数吃不下」这两种混淆因素区分开来。

小结

CrossView 真正的关键是把「跨相机推理」从一句口号变成可检验的题型：用确定性的 STSG 查询保证答案正确，用跨相机实体解析支撑互不重叠视角下的关联，再用「帧预算按相机扩展」的协议把多相机缺口钉死——模型不是差在对齐，而是差在联合推理多视角这台核心能力上。

在 CrossView 四个领域子集上评测 Qwen、InternVL、GPT、Gemma 等模型家族，按模型原生上下文长度设定逐相机帧预算，并把最强模型统一到较低帧预算重测，结论排名不变。结论：多相机综合任务得分普遍最低，模型在若干类别上跌破 50% 甚至接近随机，单视角对照证明缺口并非采样过疏所致。

关键数据

此前的视频 VQA 基准几乎都在单相机流上评测；多相机原始数据虽存在，却只被用于单一侧面。CrossView 首次要求模型对原始、同时、异构的相机流做完整时空综合，正面命中「上下文随视角数扩展」「跨视角空间推理」这些单相机里不存在的难点。它揭示的跨相机缺口是结构性发现，为后续多相机架构与数据流水线指明评测靶子，也把「多视角联合处理能力」确立为一条独立能力轴。

局限与不足

此次抓取的源文件是论文的审稿意见回复，而非完整正文，因此若干部署细节（总题量、主结果表、逐题帧数分布）只能依据该回复中可核实的表格与说明，无法完全展开。就现有信息而言：其一，基准答案的正确性依赖 STSG 的程序化构造，而 STSG 又建立在各源数据集自带的标注以及内部模型生成的描述之上，标注误差会沿流水线传导进问题与答案；回复中对生成的保真度只在每数据集少量抽样上做了人工评分，未覆盖全量。其二，四类源数据的标注模式高度异构（LiDAR 3D 框、事件时间戳、ego-exo 对应、逐技能标签），STSG 的构造逻辑须为每类单独适配并依赖跨相机重识别，实体解析一旦出错会直接污染后续查询，框架的通用性因此受限。其三，公平对比依赖逐相机帧预算与额外降帧重测，模型间上下文窗口差异仍难以完全对齐，跨模型比较只能近似。其四，题目覆盖 1 到 16 路相机、单题 16 到 256 帧，题目间上下文规模差异悬殊，而答案正确又依赖具体场景的相机数量，个别类别的统计置信度有限；四域之间难度各异，跨域直接比较的含义有限。