VideoChat-Flash: Hierarchical Compression for Long-Context Video ModelingVideoChat-Flash：长上下文视频建模的层次化压缩

多模态大模型处理数小时长视频时面临两难：扩展LLM上下文窗口训练推理成本极高（一小时视频约92万token）；现有token压缩方法压缩比一旦拉大又会丢细节。本文提出分层压缩范式HiCo，把压缩拆成Clip级（编码阶段用时空注意力视频编码器+相似token合并去帧间冗余）和Video级（LLM推理阶段按浅层均匀丢弃、深层文本引导选择做二次裁剪）两级，再配上长视频语料LongVid、短到长训练策略与更难的Multi-Hop NIAH评测，构建出VideoChat-Flash，在约1/50的极端压缩比下几乎不掉点。

长上下文视频建模此前主要走两条路：一是像Gemini-1.5-Pro那样直接撑大LLM上下文窗口，虽可行但训练推理效率极低；二是压缩视频token换效率，例如LLaMA-VID把每帧压到2个token，但压缩比过高会丢细节，导致部分长视频模型甚至不如专门做图像理解的MLLM。长视频指令数据的规模、以及真正能考察长上下文推理（而非简单检索）的评测基准，也一直短缺。

关键贡献

• 提出HiCo分层视频token压缩范式，将长视频压缩拆分为编码阶段的Clip级压缩与LLM推理阶段的Video级渐进式丢弃两级
• 设计时长自适应采样与纯文本时间戳提示，不引入额外模块就让模型按视频长短自动调整帧数并感知时间信息
• 构建大规模长视频指令数据集LongVid，含30万小时视频与超过344万条覆盖五类任务的问答对
• 提出多阶段short-to-long训练策略，让模型从图像与短视频起步、逐步过渡到长短视频联合指令微调
• 设计更具挑战性的Multi-Hop Needle-In-A-Video-Haystack评测基准，缓解信息泄漏并考察多跳推理而非单纯检索
• 构建VideoChat-Flash模型，在2B/7B规模上超过更大参数量甚至GPT-4o、Gemini-1.5-Pro等闭源模型

总体思路

VideoChat-Flash把长视频压缩拆成发生在两个不同阶段的两级操作：视频先被切成多个短片段（clip），由带时空注意力的视频编码器编码，并用相似token合并把片段内的帧间冗余聚合掉，得到极少数视觉token；各片段的token拼接后一起送入LLM，LLM在推理阶段再依据浅层、深层注意力模式的差异做第二次、更细粒度的丢弃。整个框架还配合时长自适应采样、纯文本时间戳提示、大规模长视频语料LongVid与多阶段短到长训练策略，把原本数万帧的输入压到LLM能够负担的规模，同时把回答准确率的损失控制在几乎可以忽略的范围。

时长自适应采样（Duration-based Sampling）

短视频需要密集采样才能捕捉细粒度动作，长视频密集采样则会带来大量冗余、只需稀疏采样把握事件脉络，因此不能用固定帧数。给定时长为$D$的原始视频，采样帧数$T$由上下限$T_{\min}$、$T_{\max}$夹住：

$$T=\min(T_{\max},\max(D,T_{\min}))$$

对应的采样密度定义为

$$\phi(T,D)=\frac{T}{D}=\frac{\min(T_{\max},\max(D,T_{\min}))}{D}$$

当$D<T_{\min}$（短视频）时$\phi=T_{\min}/D$随时长变短而升高，即越短的视频采得越密；当$D>T_{\max}$（长视频）时$\phi=T_{\max}/D$随时长变长而降低，从而在短、长视频的理解性能之间取得平衡。

Clip级时空压缩编码

把原始帧序列切成$N_c$个等长片段，每个片段$\mathbf{x}^j$经过视频编码器与连接器$\mathcal{F}$（无参数的相似token合并加一层MLP投影）压缩成$M$个视觉token：

$$[\mathbf{v}_i^j]_{i=1,2,\dots,M}=\mathcal{F}(\mathcal{V}(\mathbf{x}^j))$$

各片段的压缩结果再拼接成LLM的视觉输入：

$$\mathbf{X}_v=\mathrm{Concat}\big([\mathbf{v}_i^1]_{i=1,\dots,M},\dots,[\mathbf{v}_i^{N_c}]_{i=1,\dots,M}\big)$$

由于视频编码器自带时空注意力，每个视觉token在编码阶段就已经聚合了片段内其他帧的信息，因此每帧最终平均只需约16个token即可保留关键细节。

渐进式视觉Token丢弃（Video级压缩）

即便做过Clip级压缩，长视频里仍可能存在跨片段的长程冗余（例如监控视频），而LLM回答具体问题时也未必需要始终关注整段视频。论文对LLM各层的注意力做了可视化，发现浅层会均匀关注整段长视频上下文，深层则收敛到与问题相关的局部时刻——这是「为什么」要分层丢弃而非一次性丢弃的关键依据：浅层丢弃需要保留原有的时空结构，深层丢弃则应该服从文本相关性。据此设计了两阶段的渐进式丢弃：浅层做均匀丢弃（uniform drop），按固定比例稀释视频token但维持原有时空分布；深层做文本引导选择（text-guided select），依据文本token与视频token的相关性挑出真正需要的部分。这一策略不仅降低了计算量，还因为过滤掉了无关的视觉噪声而略微提升了理解性能。

多阶段Short-to-Long训练

与用纯文本扩展LLM上下文窗口再迁移到视频的思路不同，论文选择直接在真实长视频上训练以缩小训练与测试的差距，具体分四个阶段推进：第一阶段冻结视觉编码器和LLM，只用图文对和短视频文本对训练压缩器与MLP完成视觉-语言对齐；第二阶段扩大图像与短视频数据规模做视觉预训练，让模型学到更扎实的视觉概念；第三阶段混合图像、短视频（60秒以内）与长视频（60~3600秒）做联合指令微调，配合前面的时长自适应采样让模型同时兼顾细粒度理解与长视频覆盖；第四阶段冻结LLM，只把视频编码器的输入分辨率从224提升到448做高效的高分辨率后微调。

Multi-Hop Needle-In-A-Video-Haystack评测设计

此前的Needle-in-a-Video-Haystack做法是把一张图像（needle）插入长视频，让模型检索并回答相关问题，但容易被训练数据中类似的图文对「泄漏答案」，而且只考察检索、不考察推理，区分度不够（很多模型能做到99%以上准确率）。论文的改进是在视频中插入一条由多张图像组成的推理链，每张图像都带有指向下一张图像位置的文字线索，同时再插入若干条错误的推理链干扰模型；模型必须依据给定起点沿正确链路逐步定位到真正的needle（记为CAP指标）才能正确回答问题（记为QA指标），单靠记忆图像内容或蒙对起点都难以蒙混过关，这让评测更贴近「长上下文推理」而非「长上下文检索」。

小结

VideoChat-Flash的关键不是某一个压缩技巧，而是把「编码阶段消除帧间冗余」与「推理阶段按注意力深度做渐进式丢弃」结合成两级压缩，再用长视频语料和短到长训练策略把这套架构真正训练出来，从而在极端压缩比下仍保住长视频理解的精度。

在MVBench、LongVideoBench、MLVU、LVBench、VideoMME及Charades-STA、AuroraCap上评测，长上下文能力用NIAH与LongVA、LLaMA-VID对比。结论：2B/7B模型领先同类方法，7B超过InternVL2-76B、GPT-4o、Gemini-1.5-Pro。

关键数据

HiCo把「clip内时空冗余压缩」与「LLM内注意力随深度变化的稀疏性」结合成两级压缩，给长视频MLLM在效率与精度之间的取舍提供了一条可复用的架构思路；Multi-Hop NIAH也为后续工作评估「长上下文推理」而非仅「长上下文检索」提供了一个更抗信息泄漏的基准设计范式。

局限与不足

Video级的渐进式视觉丢弃只在推理阶段使用，训练阶段并未启用，原因是它与序列并行等训练加速策略兼容性较差——这意味着训练和推理时模型实际处理的视觉上下文并不完全一致，是一种工程妥协而非彻底方案。Multi-Hop NIAH虽然缓解了信息泄漏，但其needle和干扰链均来自MS-COCO图像，插入位置和推理路径是人工构造的，与真实长视频中自然出现的多跳线索在分布上仍有差距，是一种代理评测而非直接的真实任务能力度量。此外，LongVid虽然规模可观，但主要来源集中在Ego4D、HowTo100M、HD-Vila、MiraData几个数据集，视频类型（如影视剧、直播等）与标注质量的多样性最终仍受限于这些源数据集本身的覆盖面。