StoryVideoQA：用大规模、多类型自动生成数据集扩展深度视频理解 · StoryVideoQA: Scaling Deep Video Understanding with a Large-Scale, Multi-Genre and Auto-Generated Dataset

原文摘要 · English Abstract

Video question answering (VideoQA) aims to answer questions about given videos. While existing approaches excel on factoid VideoQA, they struggle with deep video understanding (DVU), which requires the comprehension of complex storylines. This challenge arises from the inherent long-range video content, multi-faceted question types, and instance-level story elements, all of which constrain the scale and diversity of manually constructed DVU datasets. These difficulties constrain the scale and diversity of manually-constructed DVU dataset. To address these, we previously introduced StoryMind to automatically construct DVU datasets with balanced fine-grained topics. Though it can generate high-quality question-answer pairs (QAs) for TV series, it suffers significant performance degradation when handling longer and more complex movies. In this paper, we further design StoryMindv2, an enhanced multi-agent collaboration framework to generate high-quality DVU datasets for both TV series and movies. By integrating a novel supervisor-guided generation mechanism and a refined multi-reviewer voting strategy, the framework is utilized to construct StoryVideoQA, the largest DVU dataset to date, featuring over 363K QAs on 393.2 hours diverse story videos including TV series (avg. 1,635 seconds) and movies (avg. 7,878 seconds). Comprehensive evaluations of 20 state-of-the-art VideoQA methods on this large-scale benchmark reveal that they cannot fully maintain long-range character associations or construct a coherent understanding of complex storylines. To bridge this gap, we propose PlotTree, a novel video understanding agent, re-organizing long-range video content into a hierarchical plot structure, enabling efficient storyline reasoning on StoryVideoQA. Project page: https://github.com/nercms-mmap/StoryVideoQA/

概要

深度视频理解（DVU）要求模型跨数小时剧情、锚定具体角色/动作/地点并完成从感知到推理的问答，但人工构造这类数据集耗时且难覆盖14种细粒度主题的均衡分布。本文提出StoryMindv2，引入主管-生成器协作机制与多评审多数投票策略的多智能体框架，把只适用于电视剧的StoryMind升级为可处理电影的自动化标注流水线，据此构建迄今最大的DVU数据集StoryVideoQA（36.3万条问答、393.2小时视频），并提出PlotTree智能体，把长视频重组为分层剧情树以支持高效剧情推理。

此前深度视频理解数据集（如MovieQA、TVQA、MovieChat-1K等）普遍规模有限、细粒度主题分布失衡，因为人工构造需要标注者跨数小时视频追踪具体角色、动作与地点并设计从感知到推理的问题，耗时且难以规模化。前作StoryMind用多智能体自动生成缓解了电视剧场景下的这一问题，但处理更长、更复杂的电影时生成准确率显著下降（从91.57%降到77.37%），暴露出自动化流程在长叙事场景上的适配能力不足。

关键贡献

设计主管-生成器双智能体协作机制StoryMindv2，用故障档案与针对性反馈持续提升自动问答生成的准确率。
提出多评审多数投票筛选策略，在保持筛选精度的同时显著提升可保留问答的召回率，支撑大规模数据集构建。
构建StoryVideoQA数据集，涵盖3部电视剧和78部高分电影，共36.3万条问答、393.2小时视频，是当前最大的深度视频理解数据集。
引入14种细粒度主题分类体系，结合2种问题类型与7种故事元素组合，并配套工具调度机制实现问答分布的均衡覆盖。
系统评测20个SOTA视频问答方法，揭示其在长程角色关联和剧情连贯理解上的结构性短板。
提出PlotTree智能体，将长视频递归组织为分层剧情树结构，实现跨多个抽象层级的高效剧情推理。

方法详解（完整做法）

总体思路

StoryMindv2围绕「数据准备→问答生成→问答筛选→难度度量」四个阶段构建自动化标注流水线：先把剧本与字幕对齐成带时间戳的「视频描述」语料；再由生成器与主管两个智能体协作，在14种细粒度主题上均衡地产出候选问答；随后由三个独立评审做二段式投票筛掉错误项；最后为每条问答计算难度分。基于该流水线构建出StoryVideoQA数据集，并配套设计PlotTree智能体，把长视频重组为分层剧情树以支持高效推理。

剧本-字幕对齐的数据准备

剧本提供场景地点、角色姓名与动作描述等丰富上下文，字幕提供精确的对白时间戳；两者互补但来源分散、易失配。StoryMindv2先用动态时间规整（DTW）算法自动对齐剧本与字幕，再人工核验修正不匹配内容，凡与最终成片不一致的剧本材料会被剔除，从而得到高保真、带时间戳的「视频描述」语料，作为后续问答生成提示词的基础。

生成器-主管协作与主题均衡工具

生成器在视频描述与14种细粒度主题描述的提示下产出候选问答，并为每个细粒度主题配备专用工具，使输出可被逐类别调控；系统持续统计各主题问答数量，一旦某主题达到阈值 $T$ 就停用对应工具，强制生成器从剩余主题中选择，从而防止过量生产同类问答：

$\text{tool}_k\ \text{停用} \iff n_k \ge T$

主管则检查生成器产出、删除错误问答并存入「故障档案」，还会用Multilingual-E5做检索增强，从故障档案中取出与本次生成最相关的10条历史错误，据此给生成器提供针对性反馈——这种「先纠错、再教训」的设计让生成器在下一批生成前就吸收此前失误，而不是等到最终筛选阶段才被动过滤，实测把问答生成准确率从49.50%提升到62.30%。

三评审两步投票的问答筛选

筛选阶段由GPT-4.1、Claude-3.7-Sonnet和Gemini-2.0-flash三个独立评审各自判断问答正确性并选出候选答案。第一步是「正确性判定」：只有三个评审都判定为True的问答才被保留，一票否决即删除：

$\text{Retain}(q) = \bigwedge_{i=1}^{3} \mathbb{1}\big[r_i(q)=\text{True}\big]$

第二步是「多数答案投票」：对通过正确性判定的问答，比较三个评审各自选出的答案与生成器给出的原始正确答案的一致情况，取被最多评审选中的答案作为核验依据：

$\hat{a}(q) = \arg\max_{a} \sum_{i=1}^{3} \mathbb{1}\big[a_i(q) = a\big]$

前作StoryMind要求三评审对答案「完全一致」才保留，代价是大量本来正确的问答被误删；StoryMindv2把「一致性」收窄到正确性判定阶段、把答案核验放宽为多数投票，实测Recall从54.15%提升到67.02%而Precision几乎不降（91.05%→90.12%），这正是大规模构造数据集时必须做的精度-召回权衡——为什么不继续用全票一致：一旦数据规模上到几十万条，任何一个评审的偶发误判都会拖累整体召回，多数投票用「容忍单点噪声」换来了规模化的可行性。

难度度量与数据集规模指标

问答难度由问题难度、候选答案分歧度与问答一致性三部分构成。问题难度沿用StoryMind的两个维度：相关视频片段长度 $|L|$ 与涉及的故事元素数 $|S|$ ，片段越短、涉及元素越少则问题越难，两者先各自做z-score标准化再合成难度分：

$z(x) = \frac{x-\mu_x}{\sigma_x},\qquad x\in\{|L|,\,|S|\}$

数据集整体规模则用密度Den与规模Sca两个指标衡量，前者刻画单位时长里问答的密集程度、后者刻画「问答量×视频总时长」的综合体量：

$\text{Den}=\frac{N_{QA}}{L_{video}}\ (\text{h}^{-1}),\qquad \text{Sca}=N_{QA}\times L_{video}\ (\text{h})$

StoryVideoQA在该指标下达到923.19 h⁻¹的密度与142.73M h的规模，均远超此前最大的同类数据集FriendsQA（497.77 h⁻¹、4.00M h）。

PlotTree：分层剧情树推理

评测发现现有VideoQA方法在StoryVideoQA上普遍无法维持长程角色关联、构建连贯剧情理解，为此作者设计了PlotTree智能体：先把长视频转换为一系列文本化的「剧情节点」，再通过节点聚类与剧情压缩递归地把这些节点组织成层次化的PlotTree，根节点概括整段故事的全局剧情。这把原本要处理数小时视频的深度视频理解任务，转化为在树结构的多个抽象层级上只对最相关的若干节点做推理，从而在不牺牲全局视角的前提下大幅降低单次推理需要处理的信息量。

小结

StoryMindv2真正的关键，是把「防止错误累积」的责任从筛选末端前移到生成过程中（主管+故障档案+主题工具调度），并把筛选标准从「全票一致」放宽为「多数投票」，用工程化的容错机制而不是更严的规则，换来了同时兼顾质量与规模的自动化标注流水线。

实验与关键数据

作者在2,000条问答上做人工核验的消融实验，比较有无主管机制、一致性筛选与多数投票筛选的效果；并用StoryVideoQA对20个SOTA VideoQA方法（VLM、MLLM、视频理解智能体）做统一评测，同时对比NExT-QA等短片问答基准上的表现，验证长叙事理解仍是现有方法的结构性短板。

关键数据

StoryVideoQA 数据集规模（问答数）

36.3万条

vs FriendsQA 4.46万条（+31.84万）

StoryMindv2 问答生成准确率(ACC)

62.30%

vs StoryMind（无主管）49.50%（+12.80）

StoryMindv2 问答筛选 F1

76.87%

vs StoryMind（一致性筛选）67.91%（+8.96）

StoryMindv2 问答筛选 Recall

67.02%

vs StoryMind（一致性筛选）54.15%（+12.87）

VideoChat2 在 StoryVideoQA 上 ACC

56.4%

vs NExT-QA（短片问答）78.6%（-22.2）

StoryMindv2 电影场景生成准确率

85.96%

vs StoryMind 77.37%（+8.59）

影响与局限

StoryVideoQA是会议版FriendsQA的期刊扩展，把自动化数据构造范式从电视剧扩展到叙事更复杂的电影，为深度视频理解提供了目前规模最大、主题分布最均衡的评测基准；其暴露的长程角色关联与剧情连贯理解短板，以及配套的PlotTree分层推理范式，为后续长视频智能体式理解方法提供了标准测试场与设计思路。

局限与不足

论文的自动生成流程仍依赖多个商业闭源大模型（Gemini-2.0-flash、GPT-4.1、Claude-3.7-Sonnet）分别充当生成器与评审，结果的可复现性和长期稳定性会随模型版本迭代而变化，第三方难以完全复现同一批次数据。正确性判定阶段要求三评审全票通过才保留，仍可能因为不同大模型对同一段复杂剧情产生相同方向的误判而漏筛系统性错误，而不只是随机噪声。此外，20个SOTA方法在StoryVideoQA上的评测显示现有范式与人类水平仍有较大差距，说明该数据集的难度已逼近当前多模态大模型的理解上限，PlotTree等下游方法缓解了部分长程理解问题，但论文本身更多是揭示问题、提供基准，而非给出接近人类水平的解决方案。