MMVU: Measuring Expert-Level Multi-Discipline Video UnderstandingMMVU：专家级多学科视频理解评测

现有的专家级推理基准大多停留在文本（MMLU）、图像（MMMU）模态，或虽涉及视频却只考察动作识别、字幕生成一类浅层感知，很少要求模型结合学科知识理解专业视频的时序动态与操作过程。MMVU 提出「教材导向」标注流程：标注员从四大学科的权威教材定位必须靠动态画面讲清楚的知识点，反向检索CC授权视频，为每题撰写维基百科链接的领域知识与分步解题原理，并用人工复核挡掉「靠文本或单帧就能答对」的样本。对24个系列前沿模型的评测显示，最强的System-2式模型也明显落后人类专家开卷成绩。

此前衡量基础模型「专家级推理」的基准大多集中在文本或静态图像上。但视频是信息最密集、最贴近现实专业场景的模态——化学反应的颜色变化、手术操作的先后步骤，这类时序动态与操作性知识很难用一张图或一段文字还原。已有视频基准要么只覆盖自然场景下的动作识别、字幕生成等通用任务，要么像同期MMWorld那样虽引入多学科视频，但真正需要领域知识的样本占比很低，且多只给标准答案没有解题过程。这正是MMVU要填的空白。

关键贡献

• 提出教材导向的标注流程，让标注员从教材章节出发定位需要动态视觉呈现的知识点，再反向检索CC授权视频，保证每道题都锚定在真实学科知识点上而非随意找视频编题。
• 构建了跨科学、医疗、人文社科、工程四大学科、由相关背景专家从零撰写的视频问答数据集，并为每题标注了带维基百科链接的领域知识点与分步解题原理。
• 设计了排除纯文本或单帧即可作答样本的人工复核环节，专门应对此前研究发现的多模态基准中视觉内容可有可无的问题，确保测的确实是视频理解能力。
• 采用按标注耗时而非按完成题数计酬的方式，抑制标注员为赶数量而降低质量的动机，并给出523条修订、72条剔除的完整质量把控数据。
• 对16个开源系列与8个闭源系列共计24个系列的前沿多模态模型做了直接作答与思维链两种设置下的系统评测，并邀请人类专家分闭卷、开卷、顶级三阶段作答建立性能参照线。

总体思路

MMVU 的构建分三个阶段：先做「学科与标注员遴选」的前期准备，确定要覆盖哪些学科、招募哪些具备相应背景的标注员；再进入「教材导向的问答标注」，标注员从教材章节出发找到必须靠动态画面讲清楚的知识点，反向检索CC授权视频，据此编写问题、干扰项与分步解题原理；最后做「数据质量控制」，用按时计酬与专家复核挡掉不需要看视频、或者标注有误的样本。三个阶段环环相扣，目的是让最终的每一道题都同时满足「需要学科知识」和「必须看视频」两个条件，而不是先有视频再凑一个和知识无关的问题。

学科与标注员体系

为了避免学科选择变成研究者自己拍脑袋决定，团队先做了一次涉及133名本科生与研究生的用户研究：让他们在自己熟悉的领域里各自尝试撰写两道「需要专家级视频理解」的问答题并反馈撰写过程中的困难，再由作者对收集到的样例做人工分析，从中筛出最终跨科学、医疗、人文社科、工程四大学科的具体学科列表。随后针对每个学科至少配备两名相关背景的标注员，总共招募了67名专家标注员（22名大三大四本科生、36名研究生、9名作者本人），所有人都参加过前述用户研究，并在正式标注前完成培训。

概念驱动的CC视频采集

标注员先逐章通读教材，找出那些天然需要动态视觉才能讲清楚的知识点（比如科学里的实验操作、工程里的机械运转），再去YouTube检索带Creative Commons授权、能贴切展示该知识点的视频，并用YouTube Data API v3核验授权类型。为了让视频真正考验模型的视觉推理而不是留下捷径，团队做了两条硬性筛选：一是剔除音轨，防止模型靠听觉线索蒙对答案；二是排除屏幕文字过多的视频（比如带幻灯片讲解的课堂录像），因为大段文字会把「看视频回答」退化成「读文字回答」。

问答与解题原理标注

确定视频后，标注员为每段视频撰写两到三道单选或开放式问题，并标出与该问题相关的视频起止时间戳；单选题的四个干扰项要求体现常见的误解或看似合理的替代答案，防止模型不看视频内容也能靠排除法蒙对，五个选项最终由标注界面随机打乱顺序。更关键的是，每道题都必须附带解题原理：一份列出必要学科概念、且每个概念都链接到对应维基百科页面的「领域知识」清单，以及一段还原推理步骤的「推理原理」。这两部分不是为了好看，而是让后续研究者能诊断模型到底是缺知识、还是推理链条断了。

时间计酬与专家复核的质量控制

为什么按标注耗时而非完成题数计酬——因为CC授权视频本身稀缺、找一段合适的视频往往比编题更费时间，按题数计酬会诱使标注员为了数量牺牲质量。数据显示平均标注一道题耗时20分17秒，验证一道题耗时4分12秒。更进一步，考虑到已有研究发现不少多模态基准里视觉内容其实可有可无，MMVU给每道题都加了一道人工复核：如果一道题仅凭题目文字或一帧画面就能答对，或者标注本身有误，审核者先尝试直接修订，改不了的退回原标注员二次修改。最终3,000+72条初始样本里有523条被要求修订，72条始终不符合设计标准而被剔除：

$$1-\frac{523}{3{,}000+72}=83.0\%$$

这个83.0%的一次通过率，是团队用来说明「初始标注质量本身就足够高」的直接证据。

准确率评测协议（GPT-4o 判分 + CoT）

评测时统一用准确率作为主指标，但答案形式既有单选也有开放式表述，直接用字符串匹配并不可靠，于是沿用近期基准的做法，让GPT-4o读取问题、标准答案与模型回答，从模型回答里抽取最终答案并判断对错，单选题和开放题分别用不同的判分提示词。每个模型都在「直接作答」与改编自MMMU-Pro的「思维链」两种提示下各测一遍，用于对比显式推理步骤对专业领域视频问答的帮助有多大。

小结

MMVU 的核心不是又造了一个视频问答数据集，而是用「教材找知识点→反向配视频→人工复核挡文本捷径」这一整套流程，把「看得懂视频」和「懂学科知识」这两件事绑在了一起，逼模型两者都做到才能拿分。

论文邀请16个开源模型系列与8个闭源模型系列，在直接作答与思维链两种提示方式下评测MMVU准确率，借助GPT-4o自动判分；另请三名研究生与两名作者按闭卷、开卷、顶级三阶段作答，建立人类专家参照线。结果显示，System-2式模型领先于其余模型，思维链普遍优于直接作答，但所有模型都未达到人类专家开卷水平。

关键数据

MMVU 把「专家级、知识密集型推理」的评测范围从文本（MMLU）、图像（MMMU）延伸到视频模态，填补了视频基准长期停留在浅层感知任务上的空白。它的教材导向标注流程与「排除文本/单帧捷径」的质量控制思路，为后续专业领域视频基准提供了可复用方法论；o1等System-2模型虽领先同侪、却仍落后人类专家开卷成绩，也为后续研究指明了方向。

局限与不足

基准的视频来源被严格限制在带Creative Commons授权的YouTube内容，论文自己也承认这导致某些CC授权视频稀缺的领域（如体育）难以被覆盖，学科分布因此更多由「哪里能找到合规视频」而非纯粹的学科重要性决定。测试集为防止数据污染而完全隐藏，短期内难以支持研究者做离线的细粒度错误分析。准确率判分依赖GPT-4o作为自动评审，引入了额外的判分模型误差和潜在偏好，并非人工逐题核验。人类专家水平的估计只基于从测试集抽取的120道题（每学科30道）和5名参与者，样本量偏小，闭卷/开卷/顶级三阶段的91.8%~95.3%区间估计也可能因参与者背景不同而有波动。此外，3,000道题分摊到四大学科数十个细分领域后，单个学科内的题量相对有限，可能不足以支撑对特定学科模型能力的稳健统计结论。