AVOC：用检索启发式 Token 压缩增强全模态大模型的小时级音视频理解 · AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

原文摘要 · English Abstract

Multimodal Large Language Models have achieved remarkable progress in short-form audio-video understanding, yet long-form audio-video comprehension remains challenged by limited context windows and severe information redundancy. To address these bottlenecks, we propose AVOC, a framework for long-form audio-video understanding in Omni-modal Large Language Models. AVOC introduces a learnable token compression module between the modality encoders and the LLM backbone. We reframe multimodal token compression as a top-K retrieval problem: given a fixed context budget, the module must retrieve a compact subset of tokens that best supports answering the user query. We draw inspiration from three classical Information Retrieval criteria for selecting informative units from a large candidate pool: relevance, importance, and diversity. AVOC instantiates each criterion as a tailored mechanism for audio-video understanding, and integrates them into a unified retrieval-style compression pipeline. Experiments show that AVOC achieves state-of-the-art performance on long-form audio-video benchmarks, surpassing the second-best model by 4.9 and 5.5 points in average accuracy on OmniVideoBench and LVOmniBench, respectively. Moreover, AVOC maintains robust performance on Audio-Video Needle-in-a-Haystack task at durations up to one hour. Code and model are at github.com/YJCX330/AVOC.

概要

长视频的全模态理解受限于上下文窗口和信息冗余：稀疏采样漏掉关键短事件，密集采样又迅速耗尽上下文；已有全模态压缩方法大多让一个模态单向主导另一个模态，主导模态信号弱时容易丢失关键信息。AVOC把多模态Token压缩重新表述为top-K检索问题：给定固定上下文预算，从视频音频Token候选池中检索出最有助于回答问题的子集。借鉴信息检索中选取信息单元的三条经典准则——相关性、重要性、多样性，AVOC用文本引导交叉注意力、双向视频-音频交叉注意力、时序感知最大边际相关性分别实例化三者，取得新SOTA。

早期全模态大模型多用稀疏时间子采样、平均池化或直接截断等与内容无关的方式压缩视频和音频流，压缩率有限且无法感知内容重要性。近期OmniZip、OmniSIFT等方法引入动态压缩，但都采用非对称设计——用音频显著性指导视频剪枝，或先剪视频再用视觉锚点选音频，本质上是一个模态单向驱动另一个模态，主导模态信号稀疏时容易丢失关键信息，也普遍忽略了音频携带的不可替代语义信息。

关键贡献

首次把多模态Token压缩重新表述为top-K检索问题，为长音视频场景下的压缩设计提供了统一视角。
提出文本引导交叉注意力计算查询相关的相关性分数，解决了压缩需要依赖用户问题的问题。
提出时间块内双向视频-音频交叉注意力计算与查询无关的重要性分数，弥补文本查询信息稀疏时的不足。
提出时序感知最大边际相关性（TA-MMR），把冗余抑制限制在局部时间窗口内，避免误伤时间上相距很远的相似事件。
构建AVOC模型并在三个长音视频基准和自建的音视频大海捞针任务上验证了在小时级时长下的鲁棒性与效率优势。

方法详解（完整做法）

总体思路

AVOC面向的问题是：全模态大模型处理小时级音视频时，原始的视频Token和音频Token序列远超LLM的上下文预算，而且存在大量时序冗余。AVOC的做法是在模态编码器和LLM骨干之间插入一个可学习的压缩模块，把这个模块的任务重新表述为「top-K检索」：把全部交织排列的视频、音频Token看作候选语料库，用户的文本问题看作检索查询，在固定预算K下检索出最能支持回答问题的Token子集。这个压缩模块串联了三个阶段——文本引导的相关性打分、视频-音频双向重要性打分、时序感知的多样性重排——前两阶段产生逐Token分数（相当于一个学出来的检索打分器），第三阶段在这些分数上做时序感知的去冗余重排，最终按时间顺序重新排列后送入LLM。

问题形式化：Token压缩即Top-K检索

视频和音频流先分别编码，再按相同时长切成若干时间块，每块拼接该时间窗口内的视频和音频Token，所有块顺序排列构成完整序列 $X=\{x_1,\dots,x_N\}$ ，每个Token $x_i$ 带有时间块索引 $\tau_i$ 与模态标签 $m_i\in\{V,A\}$ 。给定文本查询 $T$ 与固定预算 $K<N$ ，压缩模块需要选出大小为 $K$ 的子集 $S\subset X$ ，这与信息检索中「给定查询，从候选语料里检索top-K个最相关单元」的设定完全一致，因此可以直接借用IR领域沉淀的三条经典准则：查询相关性（relevance）、查询无关的重要性（importance）、结果多样性（diversity）。

重要性：视频-音频双向交叉注意力打分

文本查询相对于长视频丰富的内容往往是稀疏的，很多推理依赖的线索根本不会出现在问题文本里，因此需要一个与查询无关的「内在信息量」信号来补充相关性，这正对应IR中基于中心性/热度的查询无关先验。具体做法是在每个时间块内部，让两种模态互相做双向交叉注意力：与另一模态交互越强的Token，重要性越高。记块内模态 $m$ 的嵌入为 $E_m$ ， $\bar m$ 为其对立模态，用投影 $W^{imp}_q,W^{imp}_k$ 得到：

$Q_m=E_mW^{imp}_q,\ K_m=E_mW^{imp}_k,\qquad A_{\bar m m}=\frac{Q_{\bar m}K_m^{\top}}{\sqrt{d}}\in\mathbb{R}^{N_{\bar m}\times N_m}$

每个Token $x_i$ 的重要性分数取它收到的对立模态所有Token注意力logit的均值： $\mathrm{score}_{imp}(x_i)=\frac{1}{N_{\bar m_i}}\sum_j(A_{\bar m_i m_i})_{j,i}$ 。由于相关性分数与重要性分数来自不同注意力机制、量纲不可比，AVOC先对两者各自做Z-score归一化，再取平均得到融合分数 $\mathrm{score}(x_i)=\frac{1}{2}(\mathrm{score}'_{rel}(x_i)+\mathrm{score}'_{imp}(x_i))$ 。

多样性：时序感知最大边际相关性（TA-MMR）

单纯按融合分数选Token会严重冗余，因为音视频流的时序连续性会让高分Token聚集在相邻且高度相似的片段里。经典MMR通过贪心地在「分数高」与「和已选集合不相似」之间做权衡来去冗余：

$\mathrm{MMR}(x_i)=(1-\lambda)\cdot\mathrm{score}(x_i)-\lambda\cdot\max_{x_{i'}\in S_{select}}\mathrm{sim}(x_i,x_{i'})$

但标准MMR是时间无关的：如果视频开头出现过一次事件，结尾处一个时间上相距很远、语义相似但同样重要的事件会被误判为冗余而被抑制。为此AVOC提出TA-MMR，把新颖度的计算范围限制在以 $\tau_i$ 为中心、半径为 $W$ 的局部时间窗口内：

$\text{TA-MMR}(x_i)=(1-\lambda)\cdot\mathrm{score}(x_i)-\lambda\cdot\max_{x_{i'}\in S_{select}\cap\text{Window}(\tau_i)}\mathrm{sim}(x_i,x_{i'})$

其中 $\text{Window}(\tau_i)=[\tau_i-W,\tau_i+W]$ ， $\mathrm{sim}$ 只在同模态Token间用均值中心化余弦相似度计算（跨模态特征空间异质，直接比相似度不可靠）。这样既抑制了邻近的重复信息，又保留了相隔很远的相似但各自独立的事件。实践中还把总预算 $K$ 拆成视频、音频两份独立预算 $K_{video}+K_{audio}=K$ ，在每个模态内部各自跑TA-MMR选择，避免某一模态独占预算，选出的Token最后按时间索引重新排序再送入LLM。

为什么要分模态独立预算、为什么训练推理两套选择逻辑

如果不设定模态独立预算，视觉Token天然数量多、密度高，容易挤占音频的预算，使语音、环境音等信息被边缘化；实验里 $K_{video}:K_{audio}=2:1$ 在两个基准上都取得最优，印证了「视频略多但音频需保底」的设计直觉。另外，由于TA-MMR的贪心迭代选择是离散、串行的，不兼容并行可微的训练，AVOC在训练阶段改用Gumbel-Softmax配合直通估计实现可微的Top-K软选择（前向生成硬K-hot掩码，反向通过连续松弛传梯度），并在Stage 2里把Token保留比例随机采样到0.1~1.0区间，让压缩模块适应不同压缩强度；TA-MMR只在推理阶段启用。

小结

AVOC的关键是把Token压缩这个工程问题映射回IR里现成的「相关性+重要性+多样性」三元检索范式，并用时序窗口把经典MMR改造成适配长视频的TA-MMR，从而摆脱了此前方法里「一个模态单向指挥另一个模态」的脆弱设计。

实验与关键数据

AVOC基于MiniCPM-o 4.5搭建，用4万样本两阶段训练，并用Gumbel-Softmax实现Top-K选择可微。在WorldSense、OmniVideoBench、LVOmniBench三个长音视频基准上评测，并自建音视频大海捞针任务，同时测延迟。AVOC全面SOTA，随时长增长优势扩大，未出现精度崩溃。

关键数据

OmniVideoBench 平均准确率

42.3%

vs video-SALMONN 2+ 7B 37.4%（+4.9）

LVOmniBench 平均准确率

40.3%

vs MiniCPM-o 4.5 34.8%（+5.5）

WorldSense 平均准确率

52.6%

vs video-SALMONN 2+ 7B 50.9%（+1.7）

LVOmniBench High难度子集准确率

35.5%

vs OmniZip 30.1%（+5.4）

消融：去掉文本引导相关性打分(w/o TGS)的LVOmniBench平均

39.1%

vs AVOC完整模型 40.3%（-1.2）

ρ=0.1时预填充延迟

0.497s

vs MiniCPM-o 4.5骨干 4.453s（-3.956s，约9倍加速）

影响与局限

AVOC把IR领域沉淀多年的「相关性-重要性-多样性」三元检索范式迁移到多模态Token压缩任务上，为对称、自适应的跨模态压缩架构提供了一个不依赖单模态主导的新思路，相较OmniZip、OmniSIFT等单向依赖方案更鲁棒。其检索式压缩框架和TA-MMR机制可为后续面向更长时长、更多模态的全模态大模型压缩模块设计提供可复用的组件和消融研究范式。

局限与不足

AVOC的两阶段训练与Gumbel-Softmax可微Top-K、TA-MMR训练时禁用推理时启用的设计耦合较紧，增加了训练流程的复杂度，且TA-MMR的贪心迭代选择在推理时仍是串行的，难以充分并行化；论文的消融实验显示 $\lambda$ 与 $W$ 在 $0.15$ 、 $3$ 附近取得最优，但这两个超参数是否需要随视频总时长、压缩比或具体任务类型自适应调整并未深入探讨。模态预算比例 $K_{video}:K_{audio}=2:1$ 是针对所评测的几个视频密集型基准调出来的经验值，换到音频信息占主导的场景（如纯对话、播客式内容）是否依然成立没有验证。此外，相关性打分依赖用户文本查询，在没有明确查询或查询与内容高度无关的开放式理解场景下，重要性分支能在多大程度上独立支撑整体效果，论文也未单独给出针对性分析。

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token CompressionAVOC：用检索启发式 Token 压缩增强全模态大模型的小时级音视频理解

概要