MetaphorVU: Towards Metaphorical Video UnderstandingMetaphorVU：迈向隐喻视频理解

MetaphorVU 面向多模态大模型在隐喻视频理解上的空白，构建首个系统性基准 MetaphorVU-Bench：基于多模态隐喻理论提出8类隐喻分类体系，经评论筛选、LLM/MLLM二次过滤和人工标注获得860条高质量样本。评测11个MLLM显示，最强的Gemini-3-Pro和GPT-5平均分也仅约64分，远低于人类83.4分，超过80%的失败源于跨域映射缺陷而非识别错误。据此论文构建隐喻知识图谱，提出推理时框架 MetaphorBoost，检索图谱中的隐喻概念为MLLM提供映射线索，在多个模型上取得一致提升。

此前MLLM视频理解研究主要聚焦物体识别、事件描述等字面感知任务，对隐喻视频——广泛存在于社交媒体与公共传播中、需要将视觉元素映射到深层概念的高阶认知内容——缺乏系统研究。这一空白使得难以判断MLLM能否像人类一样完成跨域语义转化，也限制了其在需要深层理解的复杂场景中的可靠应用，同时也阻碍了针对性提升方法的开发。

关键贡献

• 提出首个基于多模态隐喻理论、涵盖8类隐喻的系统性视频隐喻分类体系。
• 构建 MetaphorVU-Bench 基准，经多阶段过滤与严格人工交叉验证获得860条高质量隐喻视频样本。
• 系统评测11个主流闭源与开源MLLM及多种推理增强方法，发现其平均得分远落后人类近20分。
• 通过错误分析揭示超过80%的失败源于跨域映射缺陷而非视觉识别错误。
• 构建包含54687个节点、200268条边的首个隐喻知识图谱作为外部认知支架。
• 提出推理时增强框架 MetaphorBoost，在多个MLLM上取得一致且显著的性能提升。

总体思路

MetaphorVU 分两步推进隐喻视频理解研究：先建基准、再建方法。首先基于多模态隐喻理论设计8类隐喻分类体系，据此从快手海量短视频中筛选并人工标注860条样本，构建 MetaphorVU-Bench；再用它系统评测11个主流MLLM，通过错误分析定位失败根源在于视觉元素到深层概念的跨域映射能力不足；最后构建隐喻知识图谱作为外部认知支架，提出推理时框架 MetaphorBoost，在识别视觉元素后检索图谱中的关联概念作为提示上下文，辅助MLLM生成更准确的隐喻解读。

视频隐喻分类体系（8类）

作者依据多模态隐喻理论及其在电影、戏剧领域的扩展，把视频隐喻归纳为8种类型：肢体语言、氛围语言、文化符号、自然符号、因果蒙太奇、类比蒙太奇、超现实叙事和表演性叙事。前四类隐喻线索相对显性（如夸张动作、色彩基调、文化象征物），后四类则需要串联多个镜头或情节进行归纳，对跨域映射能力要求更高，这也是后续评测中MLLM表现明显更差的类型。

基准构建：多阶段过滤与人工标注

为从数十亿候选短视频中高效筛出隐喻视频，作者设计了四级过滤流水线：先按评论数（超过150条）粗筛出7万条候选，再用LLM（GPT-5）分析视频简介、ASR文本与评论判断是否含隐喻逻辑，缩至1.6万条；随后用MLLM（Gemini-3-Pro）核验分析结果与视频画面是否一致，缩至4千条；最后由人工团队三人交叉验证最终确认，得到860条覆盖8类隐喻的样本，并对语音字幕做静音与去除处理以避免文本泄露隐喻答案。

评测任务形式化与LLM裁判打分

评测任务被形式化为：给定视频 $v$ 与标题 $t$，模型输出思考过程 $\hat\tau$ 与最终隐喻解读 $\hat o$：

$$\hat{\tau}, \hat{o} = F(v \oplus t)$$

由于隐喻解读是自由文本，规则式指标难以可靠评分，作者采用 DeepSeek-V3.2 作为LLM裁判，参照人工撰写的黄金解读，从「视觉元素定位准确性」与「隐含意义揭示程度」两方面打0-10分并放大到0-100，该打分与人工评分的Pearson相关系数达0.85，验证了裁判可靠性。

隐喻知识图谱构建

鉴于隐喻理解依赖多跳关联，且通用常识知识不足以覆盖隐喻特有语义，作者构建了首个隐喻专用知识图谱。先收集公开隐喻文本语料 $D=\{d_1,\dots,d_N\}$，用 DeepSeek-V3.2 从每条文本中抽取「源概念-目标概念」对作为节点集合：

$$C=\bigcup_{i=1}^{N}\mathrm{Extract}(d_i)=\bigcup_{i=1}^{N}\{(c_i^s,c_i^t)\}$$

再基于概念间是否存在隐喻映射关系连边，构成图 $G=(C,E)$，$E=\{(c_i,c_j)\mid \mathrm{Link}(c_i,c_j)=1\}$，最终得到54,687个节点、200,268条边的图谱。

MetaphorBoost：推理时跨域映射增强

MetaphorBoost 不依赖模型自行完成跨域映射，而是先让给定MLLM从视频与标题中识别关键词列表 $K=\{k_1,\dots,k_m\}=\mathrm{Identify}(v\oplus t)$，再以最多 $h$ 跳在知识图谱中检索，取同时链接最多关键词的前 $z$ 个目标节点作为参考概念：

$$R=\mathrm{Top}\text{-}z\left(\bigcup_{i=1}^{m} N_G^{h}(k_i),\ \deg(\cdot,K)\right)$$

最后把检索到的概念 $R$ 与原始视频、标题一起交给同一MLLM，重新生成思考过程与隐喻解读：

$$\hat{\tau}, \hat{o} = \mathrm{Generate}(v \oplus t \oplus R)$$

实验中取 $z=10$、$h=2$。

为什么知识图谱比纯文本或常识图谱更有效

消融实验显示：去掉外部知识、仅让模型自我检索会使 Qwen3-VL-8B-Thinking 均分从55.9降到53.4，说明模型自身知识不足以支撑映射；把知识图谱换成对原始文本语料的直接检索（无图结构）会降到54.3，说明图结构提供的显式多跳关联比松散文本更有效；把隐喻知识图谱换成通用常识图谱ConceptNet会降到52.5，跌幅最大，说明隐喻理解需要的是「概念如何被隐喻性关联」这种专门知识，而非一般常识——这正是论文坚持自建隐喻专用图谱而非复用现成资源的原因。

小结

一句话：MetaphorVU 用「系统分类体系 + 严格人工标注基准 + 隐喻知识图谱检索增强」把隐喻视频理解从「无标准可评」推进到「可评测、可归因、可无训练提升」。

在860条 MetaphorVU-Bench 上评测11个闭/开源MLLM及7种推理增强方法，用DeepSeek-V3.2作LLM裁判打分（与人工评分相关系数0.85）。现有方法均大幅落后人类，MetaphorBoost 在三种不同基座MLLM上均取得稳定提升。

关键数据

MetaphorVU 首次将高阶隐喻认知能力纳入视频理解评测体系，填补了MLLM能力评估长期聚焦字面感知、忽视深层语义理解的空白。其错误归因方法论——将失败拆解为识别错误与跨域映射缺陷——为后续隐喻理解乃至更广泛的高阶视频推理研究提供了诊断范式，MetaphorBoost 展示的知识图谱增强思路也为无需重训练即可提升MLLM认知能力的推理时方法提供了参照。

局限与不足

MetaphorVU-Bench 仅860个样本，且全部来自单一中文短视频平台，可能带有平台内容风格与文化语境的偏置，向其他语言、文化背景或长视频场景的泛化性有待验证；评测指标依赖LLM裁判打分，虽与人工评分相关系数达0.85，但仍非完全等价于人工评估，可能存在裁判自身偏好带来的系统性误差；MetaphorBoost 依赖模型自身识别的关键词质量，若视觉识别本身有误，检索到的图谱概念也可能是无关或误导性的参考，且论文未探索该框架能否扩展到长视频或多模态更复杂的隐喻场景。