Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video AnalysisVideo-MME：多模态大模型视频分析的首个全面评测基准

多模态大模型的评测长期偏重静态图像理解，视频理解缺乏全面、高质量的评测基准——现有基准视频类型单一、时长偏短、模态单一、标注质量参差不齐。Video-MME 从 YouTube 收集覆盖 6 大领域 30 个细分类别、时长从 11 秒到 1 小时的 900 段视频，由专业标注员撰写 2700 道四选一问答，并引入字幕与音频作为额外输入模态，同时用 Gemini 1.5 Pro 过滤掉仅凭文字就能蒙对的题目。这套统一协议第一次让「多模态大模型能否看懂长视频」有了可信、可比较的量化答案。

此前的视频问答基准如 MSVD-QA、MSRVTT-QA、ActivityNet-QA 视频普遍偏短，问题多是简单的动作/物体识别；EgoSchema 等第一视角基准也只覆盖单一场景类型，且不涉及字幕、音频等多模态输入。现有基准在「视频类型多样性、时长跨度、模态广度、标注质量」四个维度上都存在明显短板，难以全面衡量多模态大模型在真实世界视频理解中的能力。

关键贡献

• 首次构建覆盖 6 大领域 30 个细分类别、时长跨度 11 秒到 1 小时的视频评测基准，系统覆盖短中长视频。
• 邀请专业标注员为 900 段视频撰写 2700 道四选一问答，并用 Gemini 1.5 Pro 做文本捷径过滤，确保题目必须依赖视频内容才能作答。
• 首次系统性纳入字幕与音频作为额外模态输入，量化揭示多模态信息对视频理解的增益规律。
• 引入证据长度分析量化时序难度，证明该基准比 EgoSchema 等此前工作更具挑战性。
• 对商业与开源多模态大模型进行统一评测，发现 Gemini 1.5 Pro 显著领先开源模型，且性能随视频时长增加而系统性下降。
• 验证基准同时适用于图像类和视频类多模态大模型，揭示图像理解是视频理解的基础。

总体思路

Video-MME 不提出新模型，而是构建一套评测协议：从 YouTube 收集覆盖 6 大领域、30 个细分类别的 900 段视频，时长从 11 秒到 1 小时；为每段视频人工撰写 3 道四选一问答（共 2700 题），并同时保留字幕与音频作为可选输入模态；随后统一接口，把视频帧（可选叠加字幕/音频）与题干一起喂给待测的多模态大模型，直接比较模型输出与标准答案得到准确率。整套流程刻意避开自动生成或裁剪已有数据集，力求让准确率下降真正反映模型「看懂长视频」能力的不足，而非标注噪声或题目本身可被文本猜出。

领域—时长二维覆盖设计

为避免评测基准偏向某一类内容或某一种长度，作者先建立「领域→细分标签」的两级层级：知识、影视、体育竞技、艺术表演、生活记录、多语种共 6 个一级领域，再细分出足球、篮球、纪录片、新闻报道、电竞、魔术表演、时装秀等 30 个细分类别；每个类别下按短（小于 2 分钟）、中（4–15 分钟）、长（30–60 分钟）三档采集视频，最终得到 900 段视频、744 条字幕、900 条音轨，时长分布相对均衡。这样「内容领域」和「时间长度」两个维度被解耦，模型在某一维度上的短板不会被另一维度掩盖。

问答标注与文本捷径过滤

每段视频由具备视觉-语言研究背景、英语能力强的标注员完整看完后撰写 3 道四选一问题（共 2700 题），题目覆盖感知、推理、信息综合等 12 种任务类型；随后每道题会被另一名标注员复核语言表达和选项逻辑一致性。更关键的一步是：作者把「去掉视频、只留文字」的题干单独喂给 Gemini 1.5 Pro，若模型仅凭文字就能猜中答案（实测低于 15% 的题目属于此类），该题会被打回重写。这一步的设计意图很直接——多选题天然存在「靠常识或语言先验蒙对」的漏洞，如果不做文本捷径过滤，模型排名会被「世界知识强不强」污染，而不是真正反映「看视频的能力」。

证据长度：量化时序难度

借鉴 EgoSchema 的做法，作者为抽样的问答对定义「证据长度」：把能让人类验证者确信答案正确、且必要又充分的最小子片段集合记为 $C$，证据长度是这些子片段时长之和：

$$L_{\text{cert}} = \sum_{c \in C} \mathrm{dur}(c)$$

短、中、长三档视频的证据长度中位数分别为 26 秒、164.7 秒和 890.7 秒，中长视频的证据长度远超 EgoSchema，说明 Video-MME 的题目确实需要理解远超单帧或单个片段的时间跨度，而不是「看一眼开头就能答」。

多模态输入与评测协议

评测时模型的输入可以是纯视频帧，也可以叠加字幕或音频，从而单独测量每种模态的增益；输出统一为四选一的字母选项，直接和标准答案比对，不借助 ChatGPT 等外部模型做二次判分：

$$\mathrm{Acc}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{1}\!\left[\hat{y}_i=y_i\right]$$

这一协议的好处是评测完全确定、可复现，代价是无法处理模型给出的开放式回答——这也是后续 Video-MME-v2 等工作扩展题型的动机之一。

小结

Video-MME 的关键不是提出了新模型，而是用「领域×时长×模态」三个维度的强制覆盖、加上文本捷径过滤和证据长度分析两道质检，第一次让「多模态大模型到底能不能看懂长视频」这件事有了可信、可复现的量化答案。

在 900 段视频、2700 道题上评测 4 个商业模型（GPT-4V、GPT-4o、Gemini 1.5 Flash/Pro）与 9 个开源视频 MLLM 及若干图像 MLLM；结论：Gemini 1.5 Pro 以显著优势领跑，开源模型与其差距明显，叠加字幕/音频普遍提升表现，且准确率随视频时长增加而系统性下降。

关键数据

Video-MME 是首个覆盖长时长、多模态输入的通用视频理解评测基准，被 CVPR 2025 收录，此后成为 Gemini、GPT-4o 等主流多模态大模型技术报告里通用的视频能力汇报指标，并催生了 Video-MME-v2 等后续扩展工作。

局限与不足

基准视频来自 YouTube，存在版权与可访问性风险，视频下架会导致部分样本失效；标注语言为英语，多语种类别的视频本身涉及多语言内容但问答仍以英文呈现；四选一形式存在一定的蒙对概率，无法评估模型的开放式生成能力；证据长度分析仅在每类随机抽样 3 段视频上统计，样本量有限，结论的统计强度不高；多数开源模型不支持音频输入，音频模态的评测覆盖不完整；基准是特定时间点的静态快照，模型能力迭代很快，后续需要 Video-MME-v2 等工作持续扩展题型与难度。