Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding记忆式推理：面向训练无关长视频理解的时间粒度自适应框架

长视频问答受限于MLLM有限的上下文窗口，现有关键帧选择方法多依赖静态的“查询-帧”相似度，忽略了不同问题所需的时间粒度差异，容易在局部高分片段过度采样、丢失连续时序线索。本文提出ReMem，一个训练无关的时间粒度自适应关键帧选择框架：查询侧用推理LLM的长期记忆解析问题的时间粒度并抽取关键实体，视频侧构建记忆图捕捉帧间的结构性时序关联，再由结构感知的动态路由把候选帧聚类成事件并按信息量分配采样预算。整个流程无需任何参数训练，即可即插即用地嵌入现有MLLM，在四个长视频问答基准上取得当前最优的零样本表现。

面对长视频，MLLM的上下文窗口无法容纳全部帧，此前方法多用均匀采样或静态查询-帧相似度打分来挑关键帧。这类方法把每一帧的重要性看作与查询的独立匹配问题，忽视了不同问题天然需要的时间粒度不同：有的问题只需局部一小段证据，有的问题需要跨越全片的连续时序推理。静态打分还容易在高分片段反复采样，造成冗余并丢失细粒度视觉线索与因果结构，导致模型在长程时序推理任务上表现不稳定。

关键贡献

• 提出ReMem，一个训练无关、时间粒度自适应的关键帧选择框架，可直接插入现有MLLM进行长视频推理
• 设计记忆驱动的问题解析模块，利用LLM长期记忆连续量化问题的时间粒度并抽取语义实体，为帧检索提供更干净的文本锚点
• 构建协同双语义帧对齐机制，用静态视觉相似度与记忆图上的随机游走扩散共同衡量帧与查询的相关性
• 提出结构感知的动态帧路由，先把候选帧聚类为连贯事件，再按信息容量把有限的帧预算按事件动态分配，抑制冗余采样
• 在三种MLLM骨干与四个长视频问答基准上进行大量实验，验证ReMem在零样本设置下取得新的最优性能

总体思路

ReMem是一个训练无关的关键帧选择框架，用于缓解长视频问答中上下文窗口受限的问题。整体流程分三步：(1) 让推理LLM基于长期记忆解析问题的时间粒度并抽取关键实体；(2) 用CLIP编码视觉与文本特征，通过静态视觉-语义对齐与记忆增强的时序-语义对齐算出每帧的联合相关性分数，据此选出候选帧池；(3) 用结构感知的动态帧路由把候选帧聚类成若干事件，并按各事件的信息量动态分配帧预算，最终把选中的关键帧按时间顺序排好，与系统提示、问题一起送入MLLM完成推理。三个模块依次衔接，全程不更新任何模型参数。

记忆驱动的问题解析

以往的训练无关方法直接拿原始问题去和帧算相似度，既没有区分问题所需的时间跨度，也没有把问题里隐含的视觉线索显式抽出来。ReMem把粒度判断建模为一个连续打分过程 $f_{\text{granularity}}: Q \to g$，让LLM依靠长期记忆给问题打一个 $g\in[0,1]$：$g$越小表示问题只涉及局部、密集的证据窗口，越大表示需要跨越全片的长程整合（例如“视频中太阳出现了几次”对应$g=0.90$）。同时用 $f_{\text{entity}}: Q,\{C_i\}\to\{E_i\}$ 从问题和选项中提取具体的视觉实体描述（如“姆巴佩庆祝进球”“球网晃动”），为后续帧检索提供更干净的语言信号。

查询增强：实体注入锚点

为了把抽取出的实体信息融合进问题的CLIP文本嵌入，ReMem用一个交叉注意力残差结构，把实体嵌入 $\bm{v}_e$ 动态注入问题嵌入 $\bm{v}_q$，生成信噪比更高的增强查询锚点 $\bm{v}_{anc}$： $$\bm{v}_{anc} = \text{LN}\Big(\bm{v}_q + \bm{W}_f\big[\bm{v}_q \parallel \text{Softmax}\big(\tfrac{(\bm{W}_q\bm{v}_q)(\bm{W}_k\bm{v}_e)^\top}{\sqrt{D}}\big)(\bm{W}_v\bm{v}_e)\big]\Big)$$ 这里 $\text{LN}(\cdot)$ 是层归一化，$\bm{W}_q,\bm{W}_k,\bm{W}_v$是投影矩阵，$[\cdot\parallel\cdot]$表示按特征维拼接。相比直接拿原始问题嵌入去检索，$\bm{v}_{anc}$把实体这类具体、可视化的信息显式注入锚点，让后续与视频帧的匹配更聚焦于真正相关的视觉证据，而不被问题里的抽象措辞干扰。

静态视觉-语义对齐

对每一帧 $I_i$ 提取CLIP视觉嵌入 $\bm{v}_i$后，ReMem不只用普通的余弦相似度，还叠加了一个二阶相关项来控制模态差距与高阶关联： $$\mathcal{S}_{\text{v}}(\bm{v}_i,\bm{v}_{anc}) = \alpha\frac{(\bm{W}_s\bm{v}_{anc})^\top(\bm{W}_s\bm{v}_i)}{\|\bm{W}_s\bm{v}_{anc}\|_2\,\|\bm{W}_s\bm{v}_i\|_2} + \beta\Big(\frac{\bm{v}_{anc}^\top\bm{W}_c\bm{v}_i}{\sqrt{D}}\Big)^2$$ 其中$\bm{W}_s,\bm{W}_c$是继承自预训练CLIP的投影矩阵，$\bm{W}_s$起到缓解视觉-文本模态差距的缩放作用，$\alpha,\beta$是两项的权重系数。这一项负责捕捉“瞬时的、局部的”空间线索，是后续融合分数中偏向细粒度问题的一支。

记忆图构建与随机游走扩散

为了捕捉帧与帧之间跨场景的长程依赖，ReMem先用K-Means把全部帧特征聚成 $K=\sqrt{M}$ 个簇，每个簇用离质心最近的真实帧实例化为锚点节点 $\bm{V}_k$，按时间顺序排成记忆特征矩阵 $\bm{V}$。节点间的语义边与时间边分别定义为： $$e_{sem}^{i,j}=\max(\bm{V}_i^\top\bm{V}_j,0),\quad e_{tem}^{i,j}=\begin{cases}1,&|i-j|\le 1\\0,&\text{otherwise}\end{cases}$$ 随后用增强锚点初始化一个种子分布 $\bm{p}^{(0)}=\text{Softmax}(\bm{V}\bm{v}_{anc})$，让激活能量沿语义边和时间边组成的转移矩阵做随机游走扩散： $$\bm{p}^{t+1}=(1-\gamma)\big(\alpha\bm{W}_{sem}+(1-\alpha)\bm{W}_{tem}\big)\bm{p}^{t}+\gamma\bm{p}^{0}$$ 两步扩散后得到的 $\bm{p}^2$ 编码了每个锚点在全局结构中的重要性，进而算出帧的时序-语义分数 $\mathcal{S}_{\text{t}}(\bm{v}_i,\bm{v}_{anc})=\sum_{k=1}^{K}(\bm{v}_i^\top\bm{V}_k)p_k^{2}$。这一支不再只看单帧和查询的直接相似度，而是让帧的分数被它所处的时序邻域和跨场景关联“传染”，从而捕捉连续动作和长程因果结构。

粒度引导的双语义融合

静态视觉分数擅长精细定位，记忆图时序分数擅长把握长程结构，二者该各占多少权重不能是固定值——这正是ReMem设计的关键直觉：融合权重必须跟着问题的时间粒度 $g$ 走。ReMem让权重随视频时长 $t$ 指数衰减地趋向时序项： $$\alpha = 1-0.5g\,e^{-\lambda t},\qquad \mathcal{S}=\alpha\mathcal{S}_{\text{v}}+(1-\alpha)\mathcal{S}_{\text{t}}$$ $g$越小（问题越局部），$\alpha$越大，越依赖静态视觉分数以避免时序噪声；$g$越大或视频越长，$\alpha$越小，越倚重时序-语义分数以追踪长程结构。消融实验证明，用这种连续的动态权重比人为设定“短程$\alpha=0.9$/长程$\alpha=0.5$”两档的刚性方案效果更好，说明问题的时间粒度本质上是连续量，离散分档会丢掉中间地带的信息。

结构感知的动态帧路由

把综合分数最高的 $N$ 帧组成候选池后，ReMem并不直接按分数取Top-K（这会让分数扎堆在同一事件、造成冗余），而是先联合优化语义质心 $\bm{c}_l$、时间中心 $\tau_l$ 和软分配矩阵 $\bm{U}$，把候选帧划成 $L$ 个连贯事件： $$\min_{\bm{U},\bm{c},\bm{\tau}}\ \sum_{i=1}^{N}\sum_{l=1}^{L}U_{i,l}\Big(\underbrace{1-\bm{v}_i^\top\bm{c}_l}_{\text{语义代价}}+\beta\underbrace{(t_i-\tau_l)^2}_{\text{时间代价}}\Big)-\epsilon\,\mathcal{H}(\bm{U})$$ 再按各事件的信息容量 $I_l=\sum_{i\in G_l}\mathcal{S}_i+\eta\log(1+|G_l|)$ 用softmax把总帧预算 $B$ 分配给每个事件：$m_l=B\exp(I_l/\theta)/\sum_j\exp(I_j/\theta)$，再从每个事件内部取分数最高的 $m_l$ 帧、按时间排序后送入MLLM。这一步保证了最终选出的帧既覆盖多个事件（不冗余），又在每个事件内部保留最相关的证据。

小结

ReMem的关键是把“选哪些帧”拆成了两层记忆自适应：问题侧用LLM长期记忆连续量化时间粒度来决定该偏重局部证据还是全局结构，视频侧用记忆图上的随机游走把孤立帧的相似度变成有结构上下文的时序分数，二者动态融合后再靠事件级路由把有限预算花在最该花的地方。

实验在Video-MME、LongVideoBench、MLVU、LVBench四个无字幕多选题长视频基准上进行，指标为答案准确率；分别接入LLaVA-Video-7B、Qwen2-VL-7B、Qwen3-VL-8B三种MLLM骨干，全零样本训练无关。结果显示ReMem在三骨干四基准上全面超过均匀采样及现有帧选择基线。

关键数据

ReMem把长视频关键帧选择从静态的查询-帧相似度打分，推进到显式建模问题时间粒度与视频结构记忆的双层自适应，证明了不训练也能超过多种监督式帧选择方法（如GenS、FrameOracle）。它为训练无关长视频理解提供了一条可解释、可插拔的路线，后续工作可以在其记忆图与动态路由的框架上继续扩展时序建模能力。

局限与不足

ReMem在推理阶段依赖外部推理LLM（GPT-4o）做问题粒度解析与实体抽取，引入了额外的API调用成本与延迟，效果也一定程度上受限于该LLM的解析质量和稳定性；候选帧池大小N、衰减常数λ、路由温度θ等多个超参数需要人工调优确定，论文只在当前评测基准的视频时长分布下调过，迁移到时长分布差异很大的场景可能需要重新搜索；静态与时序语义对齐都建立在CLIP的视觉-语言表征之上，对CLIP本身难以区分的细粒度视觉差异（如相似动作、相似物体外观）依然可能检索错误；此外，实验显示候选池扩大到200帧后准确率不再提升甚至略微下降，说明该方法在候选规模上存在饱和上限，也意味着预处理延迟与精度收益之间需要每次针对新场景重新权衡。