FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMsFutureOmni：评测多模态大模型基于全模态上下文的未来事件预测能力

现有音视频基准（WorldSense、DailyOmni等）多聚焦“回顾式”理解已发生的事件，而自动驾驶等现实场景更依赖结合声音与画面预判未来，这一能力此前缺乏系统评测。本文提出 FutureOmni，首个要求模型基于音频+视频联合上下文预测未来事件的基准：经AI辅助、人机协同流水线采集919个视频、构建1,034道选择题，设计四类对抗性干扰项防止走捷径。20个模型评测显示最强模型准确率仅64.8%，作者进而构建7K条带推理链的指令微调数据，提出OFF训练策略，既提升该任务表现，也能迁移到通用音视频理解任务。

过去的音视频基准，如AVQA、WorldSense、Daily-Omni等，均围绕“回顾式推理”设计——描述、定位或解释视频中已发生的事件，推动了描述与时序定位能力进步，但未触及预测。另一条线上，FutureBench、MIRAI等未来预测基准只考虑纯文本；VLEP、IntentQA扩展到视觉-语言，但普遍静音或忽略音轨，无法评估声音作为事件先兆时的跨模态因果推理，这使“多模态LLM能否基于音频+视觉预测未来”长期缺乏系统评测。

关键贡献

• 提出FutureOmni，首个评测多模态大模型在音视频联合上下文下进行未来事件预测能力的基准。
• 设计音频协同视频筛选、音视频时序定位校准与因果事件对挖掘的人机协同数据构建流水线。
• 创新性地提出视觉冲突、音频冲突、延迟事件和逆因果四类对抗性干扰项，防止模型走捷径。
• 在20个主流开源与商用多模态模型上开展系统评测，发现最佳模型准确率仅64.8%。
• 构建7K条带推理链的指令微调数据集FutureOmnitrain，提出OFF训练策略显著提升未来预测与跨任务泛化能力。
• 通过关键帧注意力偏移指标揭示OFF让模型更主动关注真实关键帧，为泛化机制提供可解释证据。

总体思路

FutureOmni 的构建分两条主线：先造一个“逼模型做真正跨模态未来预测”的评测基准，再用基准构建中产生的推理链去反哺训练。流程是：从约1.8万条YouTube视频中按音视频质量筛出919条 → 用Gemini 2.5 Flash定位事件时间戳并用声学特征校验边界 → 用DeepSeek-V3.2挖掘“前因-后果”事件对并标注音频贡献度 → 配上四类对抗性干扰项构成1,034道选择题 → 在20个模型上评测，发现最强模型仅64.8%准确率 → 把构建过程中产生的因果推理链整理成7K条指令微调样本，提出OFF训练策略，用LoRA微调后既提升FutureOmni上的表现，也提升在WorldSense、Video-MME等域外基准上的泛化。

音频协同的视频筛选

低质量视频的特征是时长过短、画面几乎静止、或声音只是背景装饰。作者先收集约1.8万条时长30秒到20分钟的YouTube视频，计算相邻帧的视觉相似度，若一段视频的平均帧间相似度超过70%（画面变化过少）就直接剔除，同时结合音频是否具有实质信息（而非纯装饰性背景音）做联合过滤，最终保留919条高质量、音画均有信息量的视频。

视听时序定位与边界校准

筛选完视频后，需要精确定位视频里哪些片段构成有意义的事件。作者用Gemini 2.5 Flash对视频做全局扫描，忽略琐碎或静态背景，为每个情节相关事件生成MM:SS格式的起止时间戳。为验证这些边界是否精确，论文借鉴LongVALE的做法，在起止时间点上计算梅尔频率倒谱系数（MFCC），因为真实的事件转换往往伴随声学上的突变：

$$\left|\mathrm{MFCC}(t_{\text{start}}) - \mathrm{MFCC}(t_{\text{end}})\right| > \delta,\quad \delta = 2.0$$

只有MFCC差异超过阈值2.0的边界才被认为是有效的事件转换点；随后再让Gemini 2.5 Flash补充标注与画面同步出现的对话、音效、背景音乐等声学线索，确保音频事件不被遗漏。

因果事件对挖掘与音频贡献度打分

时间上的先后并不代表因果关系，论文用DeepSeek-V3.2分析相邻事件片段，严格限制前提事件与未来事件之间的时间间隔不超过30秒，并要求模型显式输出“前提事件、目标事件、连接二者的理由（rationale）”三元组，以确保未来事件确实是前提事件的直接逻辑后果。为了专门挖掘由声音驱动的因果对，模型还需对每个候选事件对的音频因果贡献打分：

$$s_{\text{audio}} \in \{0, 1, 2\},\quad 0=\text{无影响},\ 1=\text{装饰性},\ 2=\text{因果性}$$

并进一步把起作用的音频因素分类为Speech（语音）、Sound（环境音效）、Music（音乐）三类，使基准能细粒度分析不同声音类型对未来预测的贡献。

四类对抗性干扰项设计

以往的未来事件预测基准大多只基于视觉相似度构造干扰项，容易被模型靠表面模式匹配“蒙”对。FutureOmni特意设计四类更难的干扰项：Visual-only Perception（画面上看似合理，但被音频内容明确证伪，专门考验不整合声音线索的模型）；Audio-only Perception（语义上与语音或声音事件吻合，却描述了视频中并未发生或与画面不符的动作，专门考验过度依赖音频转写而忽视视觉核验的模型）；Delayed（描述的是发生在前提事件之前的真实过去事件，考验模型对时间顺序的精确辨别）；Reverse-Causal（描述前提事件的前因而非其结果，考验模型是否真正理解时间箭头的方向性，而非仅做关联匹配）。这四类干扰项联合起来，使模型必须同时做视觉核验、听觉核验与方向性因果推理才能选对答案，这正是该基准区别于此前纯视觉未来预测基准的关键设计动机。

Omni-Modal Future Forecasting（OFF）训练策略

评测揭示现有模型普遍做不好全模态未来预测后，作者把数据构建流水线中产生的“前提事件-理由-目标事件”链条整理成7K条指令微调样本FutureOmnitrain，在Qwen2.5-Omni-7B、Ola-7B、video-SALMONN 2-7B三个模型上用LoRA微调文本骨干（视觉、音频编码器保持冻结），让模型不仅学会预测结果，还要内化“为什么未来事件会从音视频前提中推导出来”的推理逻辑，训练目标是标准的自回归语言建模损失：

$$\mathcal{L} = -\sum_t \log p_\theta\!\left(y_t \mid y_{<t},\, x_{\text{audio}},\, x_{\text{video}},\, x_{\text{premise}}\right)$$

其中 $y_t$ 既包含中间的因果理由（rationale）token，也包含最终答案token，这使监督信号比单纯“选哪个选项对”丰富得多。

关键帧注意力偏移指标

为了解释为什么只在未来预测任务上微调却能提升模型在WorldSense、Video-MME等域外基准上的通用表现，作者在标注详尽的LongVALE数据上提出Keyframe Attention Score Difference指标，比较OFF训练前后模型在各transformer层对真实视频/音频关键帧token的平均注意力：

$$\Delta A_l = \bar{A}_l^{\text{after OFF}} - \bar{A}_l^{\text{before OFF}}$$

结果显示在第9层、第20层等关键层，训练后模型对视觉关键帧的关注显著增强，同时第8到17层的中间层对音频关键帧的注意力也持续抬升——论文称这种现象为“主动信息寻求”（Active Information Seeking），即OFF训练并非只是记住了预测任务的捷径，而是让模型学会更准确地定位真正携带信息的音视频片段，这正是其能泛化到其他任务的内在机制。

小结

FutureOmni 的关键不是又造了一个更大的音视频QA基准，而是第一次把“未来预测”和“全模态”两个此前分头推进的方向结合起来，并证明训练模型做好这件“难事”（跨模态因果推理）会自然地让模型在一大批不相关的回顾式任务上也变聪明。

作者评测了20个模型（全模态模型Qwen3-Omni、MiniCPM-o 2.6、video-SALMONN 2，纯视频模型Qwen3-VL，商用Gemini系列），并做模态消融，随后LoRA微调OFF方法并在WorldSense等域外基准验证泛化。结论：现有模型普遍难做好全模态未来预测，OFF能同时提升任务与泛化表现

关键数据

FutureOmni填补了音视频多模态评测中“未来预测”这一长期被忽视的维度，把原本局限于纯文本或纯视觉的未来事件预测扩展到真正的全模态因果推理场景，为自动驾驶、监控、日常助理等需要前瞻决策的应用提供了标准化测试床；其OFF训练范式也证明了面向未来预测的推理链监督可以反哺模型的通用音视频理解能力。

局限与不足

论文本身也指出若干局限：评测仅采用多选题形式，无法检验模型生成式的自由预测能力，模型也可能依赖选项间的相对差异而非真正理解；因果事件对的发现依赖DeepSeek-V3.2自动标注，虽有GPT-4o自动校验与人工复核兜底，但大规模自动化流水线仍可能引入标注偏差或遗漏更隐蔽的因果关系；视频时长上限为20分钟，长视频（如数小时监控录像或完整纪录片）中跨度更长的因果链未被充分覆盖；OFF方法目前只在7K样本规模、LoRA微调、三个7B级模型上验证，尚未在全参数微调或更大模型规模上检验其上限；此外，论文对Speech模态表现明显偏弱的根因（语音理解本身弱，还是语音驱动的因果链更长更复杂）只做了现象层面的消融和错误分类，未给出针对性的模型改进方案。