SVBench: A Benchmark with Temporal Multi-Turn Dialogues for Streaming Video UnderstandingSVBench：面向流媒体视频理解的时序多轮对话评测基准

现有视频问答基准多把每条 QA 当成孤立单轮任务，无法衡量模型在直播、监控等持续输入场景下随时间推进对话、并利用历史片段做时序推理的能力。SVBench 提出「QA链」与「时序关联」两个概念：把连续多轮问答绑定到视频片段上，再在相邻片段的QA链间建立跨片段逻辑联系，构造出与视频播放同步的时序多轮对话数据集，规模达49,979个QA对、覆盖1,353个视频、平均每视频36.94对，密度居同类之首。论文设计对话评测与流式评测两套协议，评测14个LVLM并训练流式基线StreamingChat验证难度。

此前的视频问答基准（如MSVD-QA、ActivityNet-QA、MVBench）普遍聚焦单轮、孤立的QA对，即便像LVBench、MovieChat这类长视频基准提升了平均问答数，QA之间仍缺乏上下文关联，无法检验模型是否能在多轮对话中保持连贯、利用历史信息。而现实中的直播、穿戴设备录像、安防监控等场景要求模型在不知道未来内容的前提下，随视频流推进持续回答一系列相互关联的问题——这正是现有基准缺失的能力维度。

关键贡献

• 提出「时序多轮对话」这一新任务，用QA链刻画流媒体视频上连续、有历史依赖的问答交互
• 构建半自动标注流水线，产出49,979个QA对、1,353个视频，平均每视频问答密度为已知数据集中最高
• 定义相邻QA链之间的时序关联（Temporal Linkages），并设计对话评测与流式评测两种互补的评测协议
• 将问题划分为9类长时序流媒体理解技能，对14个开源/闭源LVLM做细粒度能力剖析
• 基于InternVL2训练流式基线StreamingChat，在SVBench上显著超越同规模开源模型，且不牺牲通用图文/视频能力

总体思路

SVBench 把「流媒体视频理解评测」拆解为数据构造与评测协议两条主线。数据侧先把长视频切成若干片段，用LVLM在每个片段上生成一条连续多轮问答（QA链），再识别相邻QA链之间的时序关联并人工改写，使问答链条随视频播放形成一条贯穿全片的时序对话路径；协议侧设计「对话评测」和「流式评测」两种互补的测试方式，分别考察模型利用历史上下文的能力和跨片段时序推理能力。整个流水线以LLM自动生成为主、人工审核修正为辅，兼顾规模与质量。

场景切分与片段构造

原始视频先经过美学分数、光流分数与场景数过滤（保留场景数在5~15之间的视频），再用PySceneDetect做镜头检测，按时间戳切分为片段集合 $V=\{s_i \mid 0\le i<|V|\}$。为避免片段边界割裂语义，短于2秒的片段会与相邻片段合并，且每个片段首尾各外扩0.5秒，使相邻片段之间产生1秒重叠，保证跨片段推理时上下文连续。最终从12,989条原始视频中筛出1,353个高质量流媒体视频。

QA链生成

对每个视频片段 $s_i$，用LVLM（如GPT-4o）在提示 $p_v$ 的引导下生成5~6轮连续问答，构成该片段的QA链 $C_i$：

\mathcal{C} = \{\, C_i = \text{LVLM}(p_v, s_i) \;\middle|\; 0 \le i < M \,\}

其中 $M=|V|$ 为片段总数。由于当前LVLM在视频理解和文本生成上仍有局限，生成结果需要人工逐条增删改，例如把问题里指代具体人物的表达统一改写为第三人称代词，以保证QA链内部连贯、与画面对齐。

时序关联识别与人工改写

相邻片段的QA链天然共享人物、场景或事件，因此存在跨链的时序关联。作者先用LLM在提示 $p_l$ 下，对第 $i$ 条与第 $i+1$ 条QA链搜索候选关系集合：

$$R_i = \{\, r_j \mid 0 \le j < |R_i| \,\} = \text{LLM}(p_l, C_i, C_{i+1})$$

每条关系表示为一个五元组 $r_j=\langle Q_x^i, A_x^i, Q_y^{i+1}, A_y^{i+1}, Rc\rangle$，即前一链第 $x$ 对QA与后一链第 $y$ 对QA之间以类别 $Rc$ 相连。由于要同时满足「链内上下文连贯」「跨链逻辑成立」「把重复/简单问答改造成更深入的问题」三条准则，单靠LLM难以稳定达标，因此这一步改为人工按改写指南把关系修正为：

$$\widetilde r_j = \langle Q_x^i, A_x^i, \widetilde Q_y^{i+1}, \widetilde A_y^{i+1}, \widetilde{Rc} \rangle$$

人工介入的关键原因在于：LLM生成的关联往往只是表面的实体重合，缺乏真正需要跨片段记忆才能回答的深度，而基准的核心价值恰恰在于逼迫模型「记住并调用历史片段信息」——这一步决定了SVBench与普通长视频QA数据集的本质区别。

质量控制与技能分类

为保证QA链质量，作者用GPT-4从准确性、完整性、相关性、流畅性、上下文理解、逻辑一致性、时序理解7个维度打分（0~100），并给出总分，低于90分的QA链需重新人工修订，这一迭代过程反复进行直至达标。此外，问题被划分为9类技能：意图推断、可能性评估、反事实推理、时空推测、关系推断、角色状态与转变、比较与趋势分析、常识推断、事件中心分析，用于后续对模型能力做细粒度拆解，而不是只看一个总分。

评测协议：对话评测与流式评测

对话评测中，模型在回答当前QA链中的问题时，被提供该链之前所有QA对作为上下文，直到整段视频播放完毕；流式评测在此基础上引入概率化的时序跳转：当遇到与后续QA链存在时序关联的问题时，以80%的概率强制模型转向依赖后续片段信息的关联问答，从而专门检验模型跨片段时序推理而非单纯的上下文记忆能力。二者共用同一套多维评测指标——语义准确性（SA）、上下文连贯性（CC）、逻辑一致性（LC）、时序理解（TU）、信息完整性（IC）以及由前述指标汇总得到的总分（OS）。

StreamingChat 基线架构

StreamingChat 以InternVL2为底座，由视觉编码器InternViT、MLP投影层和语言模型InternLM2组成：视觉编码器以1FPS提取帧特征，经MLP投影为帧token后与语言token交错输入LLM，并在LLM每个线性层加入LoRA做高效微调。训练数据把SVBench的时序对话路径转换为「〈video〉片段1〈/video〉问题1答案1...问题N答案N〈video〉片段2〈/video〉...」的多轮多图格式，逐段输入视频并在每段上完成多轮对话，超过100帧的对话路径会被拆分为多个训练片段以适配32k上下文窗口。

小结

SVBench真正的关键不是又造了一个更大的视频QA数据集，而是用「QA链+跨链时序关联+人工强制深度改写」这一套流水线，把评测目标从「能否答对孤立问题」转变为「能否在流式推进中持续记忆、调用历史并做跨片段推理」。

完整流程。 原始视频过滤与场景切分 → LVLM按片段生成QA链 → LLM搜索跨链候选关联并人工改写为深度关联 → GPT-4七维质量打分与迭代修订 → 按9类技能标注问题类别 → 划分训练/评估集 → 在对话评测与流式评测两种协议下用SA/CC/LC/TU/IC/OS六项指标评测14个LVLM，并训练StreamingChat作为流式基线验证任务难度。

在SVBench评估集（200个视频、7,374个QA对）上对14个模型做对话评测与流式评测，并在9类技能子集上做细粒度分析。闭源模型（GPT-4o、GPT-4V）全面领先，多数开源LVLM表现欠佳，反事实推理、时空推测等高阶技能得分普遍偏低；引入历史上下文的多轮评测显著提升METEOR与GPT4-Score。

关键数据

SVBench 填补了长时序流媒体视频理解评测的空白，把评测单位从「孤立QA」升级为「随时间演进的多轮对话链」，为后续流式视频LVLM（如实时监控助手、直播陪伴模型）提供了可复用的任务范式、标注流水线与量化指标体系，其QA链+时序关联的构造思路也被后续流式视频数据集借鉴。

局限与不足

SVBench的QA链与时序关联生成仍依赖LLM（GPT-4系列）打分与初筛，评测本身也用GPT类模型做语义打分，存在评测者与被评测的闭源模型（GPT-4V/GPT-4o）同源、可能带来打分偏好偶合的风险；流式评测中80%的强制跳转概率是人为设定的固定超参数，未必贴合真实流媒体场景中时序关联出现的实际分布；数据来源集中在YT-Temporal-1B、YouCook2、ActivityNet、MovieChat、Panda-70M、Ego4D等6个已有数据集的二次筛选，视频风格和标注语言（英文为主）的多样性仍有限；此外，人工改写QA链和时序关联耗时约3个月、涉及30余名标注员，标注成本较高，也限制了基准进一步扩大规模的可行性。