Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism用视觉记忆机制扩展多模态大模型的长视频理解能力

长视频理解受限于MLLM输入序列长度与显存开销:RAG式检索方法擅长定位关键帧但难建立整体理解,视觉压缩方法能塞入更多帧但仍要一次性把全部压缩特征喂给模型,存在计算瓶颈。本文从「视觉记忆机制」角度出发,提出训练无关的FlexMem:把视频切片迭代喂给MLLM,将每步KV缓存经双通路压缩拆成向后传递历史信息的「情境记忆」和写入记忆库的「局部记忆」,问题到来时再通过跨模态注意力或轻量索引MemIndex召回最相关片段作答,显存开销不再随时长线性增长,可处理超长视频并支持流式问答。

长视频理解此前主要走两条路:一是借鉴LLM的RAG思路,把视频当知识库先检索问题相关的关键帧/片段再送入MLLM(如AKS相似度检索、VideoAgent迭代式规划),在「大海捞针」式定位上表现好,但缺乏整体理解,检索片段间上下文割裂;二是视觉特征压缩,维持历史压缩特征以求更全面理解(如AdaRETAKE自适应压缩比、Video-XL用特殊token摘要),但输入长度仍随时长线性增长,推理时仍需一次性喂入全部压缩特征,显存开销依然较高。

关键贡献

• 首次从视觉记忆机制视角重新定义长视频理解问题,提出训练无关、可直接插入现成MLLM的FlexMem框架
• 设计双通路压缩(Dual-Pathway Compression),用情境聚合分数与局部显著性分数分别压缩prefill与decode阶段的KV缓存
• 提出基于跨模态注意力的记忆召回策略,直接复用MLLM自身注意力判断问题与历史片段的相关性,无需额外训练检索模块
• 提出快速记忆索引MemIndex,用线性回归拟合注意力召回分数,仅用少量代表性缓存层与索引特征即可完成召回,适配流式问答
• 在LLaVA-Video与LLaVA-OneVision两个主流Video-MLLM上,于五个长视频基准与一个流式问答任务上验证,单卡3090即可处理超过1000帧并取得优于现有高效方法的性能

总体思路

FlexMem 把「看长视频」变成一个迭代过程:先把视频切成 N 个片段,MLLM 逐段读入,每看完一段就把该段的视觉 KV 缓存通过双通路压缩拆成两种记忆——用于向后传递的「情境记忆」和写入记忆库供检索的「局部记忆」;看完全部片段后,根据问题从记忆库里召回最相关的若干段记忆,再把这些记忆连同问题一起喂给 MLLM 生成最终答案。整个过程不需要额外训练,也不要求一次性把所有帧塞进模型,因此理论上能处理无限长的视频,还能同时支持「看完整段视频再答题」和「边看边答」的流式问答。

迭代式记忆写入

FlexMem 把长视频处理定义成逐步展开的递归调用:每一步只输入当前片段、少量最近的情境记忆以及(可选)从记忆库里取出的历史记忆,输出新的局部记忆与情境记忆:

$$\text{MLLM}(\langle M_l\rangle, C_{k-n_s},\dots,C_{k-1}, V_k,\langle T_q\rangle)\rightarrow M_k, C_k$$

其中 $n_s$ 是保留的情境记忆片段数。这种「只看最近窗口+必要时回看记忆库」的输入方式,让每一步的输入长度保持恒定,不随视频总长度增长,是 FlexMem 能处理任意长视频的关键。

双通路压缩:情境聚合分数

为了让当前片段的编码带着历史信息,FlexMem 在 prefill 阶段按「token 是否有效吸收了历史情境、又把自己的信息传给了后续 token」打分,取分数最高的一部分 token 的 KV 作为情境记忆:

$$\mathbf{c}_i^l=\{\mathbf{k}_j^l,\mathbf{v}_j^l \mid s^l_j \in \operatorname*{arg\,max}_{j\in V_i}^{\alpha_c|V_i|} s_j^l\},\quad s^{l}_j=\sum_{k\in C} a_{jk}^l+\sum_{h\in V_i} a_{hj}^l$$

$\alpha_c$ 是情境特征的压缩比,$C$ 是最近若干步的历史情境记忆。这个分数既看「吸收」也看「传播」,保证被保留的 token 真正承担了跨片段信息中转的作用。

双通路压缩:局部显著性分数

decode 阶段 MLLM 要依据片段内最突出的视觉证据作答,因此 FlexMem 换一套只衡量「片段内部影响力」的分数,用它筛选出写入记忆库的局部记忆:

$$\mathbf{m}_i^l=\{\mathbf{k}_j^l,\mathbf{v}_j^l \mid \hat{s}^l_j \in \operatorname*{arg\,max}_{j\in V_i}^{\alpha_s|V_i|} \hat{s}_j^l\},\quad \hat{s}^l_j=\sum_{k\in V_i} a_{kj}^l$$

$\alpha_s$ 是写入记忆库的压缩比。情境记忆负责「承上启下」,局部记忆负责「留存证据」,二者用不同分数、服务不同阶段,这正是「双通路」名字的来源。

为什么要把 prefill 和 decode 的压缩分开

如果只用一套分数压缩 KV,会在「保留历史连续性」和「保留片段内最具辨识度的细节」之间做妥协:偏向历史连续性会丢掉片段内部的关键证据,偏向局部显著性又会让片段之间的语义断裂,长视频会退化成互不相关的片段拼接。消融实验也证实,双通路设计带来的收益随视频时长增加而更明显——视频越长,「承上启下」与「留存证据」这两种需求的冲突越尖锐,分开处理的价值就越大。

基于跨模态注意力的记忆读取

看完整段视频后,FlexMem 直接利用 MLLM 自身在编码阶段产生的跨模态注意力来判断「哪些片段和问题最相关」,把问题 token 对某片段所有 token 的注意力权重求和作为相关性分数,取分数最高的若干片段:

$$g_i=\sum_{l=3}^{L}\sum_{j\in T_q}\sum_{k\in V_i} a_{jk}^l,\qquad \text{Recall}(M_{bank},T_q)=\{M_i \mid g_i\in \operatorname*{arg\,max}_{i\in M_{bank}}^{n_a} g_i\}$$

由于浅层注意力普遍比较均匀、区分度低,这里只累加第 3 层之后的注意力。这种读取方式不需要额外训练检索器,直接复用 MLLM 已经学到的视觉-语言对齐能力。

快速记忆索引 MemIndex

跨模态注意力读取效果好,但每来一个新问题都要重新跑一遍 MLLM 编码,面对多轮提问或流式问答时开销太大。为此 FlexMem 训练一个线性回归,把基于注意力的相关性分数 $g_i$ 当作监督目标,用更紧凑的索引特征去拟合它:

$$\arg\min_{\sigma}\sum_{i=1}^{D}\left\|\sigma(R_i)-g_i\right\|_2,\quad \sigma(R_i)=\sum_{l=3}^{L}\alpha^l r_i^l$$

拟合出的层权重 $\alpha^l$ 直接揭示了哪些缓存层对相关性判断最重要,据此只保留权重最高的 $K$ 层参与检索,并把视觉侧压缩成每段仅 $k$ 个代表性 key 向量、问题侧只取最后一个 token 作为索引,从而把一次检索的开销压到极小,同时性能接近昂贵的编码式读取。

小结

FlexMem 的核心是把 KV 缓存当作可迁移的「记忆」,用双通路压缩在 prefill/decode 两个阶段分别保留「承上启下」和「关键证据」两类信息,再用注意力或轻量回归索引按需召回——这让长视频理解从「一次性塞入所有帧」变成了「持续观看+按需回忆」。

实验覆盖MLVU、LongVideoBench、LVBench、Video-MME、TimeScope五个长视频基准及一个流式问答任务,底座为LLaVA-Video与LLaVA-OneVision。FlexMem在单卡3090上以更少显存持续超过现有高效方法,逼近或超越GPT-4o、Gemini-1.5-Pro。

关键数据

FlexMem把「检索增强」和「特征压缩」两条此前独立的长视频理解路线统一成一个迭代记忆系统:用恒定显存维持连续、全局的视觉记忆,再按需召回,弥补了纯RAG缺乏整体理解、纯压缩方法上下文随时长线性增长的各自短板。其训练无关、可直接套用到现成MLLM的特性,也为后续工作把「持续观看+记忆召回」范式迁移到其它长序列多模态任务提供了可复用的模板。

局限与不足

论文正文的方法设计围绕「迭代喂入+双通路压缩+记忆召回」展开,但对关键超参数(情境压缩率α_c、局部压缩率α_s、保留的上下文片段数n_s、召回片段数n_a)的取值依据与敏感性缺乏系统分析,不同视频长度或任务类型下是否需要重新调参仍不明确;MemIndex依赖对「编码式召回」做线性回归拟合,其泛化性建立在离线训练数据与测试问题分布相近的假设上,面对分布外问题或跨模型迁移时的鲁棒性未被验证;此外,双通路压缩与逐片段迭代编码仍需多次调用MLLM前向过程,相较一次性稀疏采样方法增加了推理时延,论文也没有给出处理数小时级超长视频的端到端实际耗时与吞吐数据。