No Need For Real Anomaly: MLLM Empowered Zero-Shot Video Anomaly Detection无需真实异常样本：多模态大模型驱动的零样本视频异常检测

视频异常检测长期受限于异常数据稀缺、场景单一导致的开放世界泛化能力差。本文提出LAVIDA框架，核心思路是完全不用真实异常检测数据训练：把现成的语义分割数据集改造成「伪异常」样本来源，再引入多模态大模型（MLLM）理解异常的上下文语义，并用基于反向注意力的令牌压缩处理异常在时空上的稀疏性。最终模型能在从未见过的场景和异常类别上，同时输出帧级与像素级的异常分数，在四个基准数据集上取得零样本SOTA。

经典VAD方法假设场景静止、异常类别封闭，一旦换场景或出现训练集之外的异常类型就会失效。开放集/开放词表VAD（如基于CLIP的OVVAD）能识别未见类别，但仍是单场景训练，难泛化到新场景；一批训练无关方法让MLLM直接输出逐帧文字异常描述再转成分数，虽免训练但粒度粗、无法空间定位。作者归结三点症结：VAD数据集场景与类型有限；异常语义强依赖上下文、现有模型理解不足；异常时空稀疏，大量背景token浪费算力且干扰判断。

关键贡献

• 提出端到端零样本VAD框架LAVIDA，利用MLLM提取异常语义表示，实现帧级/像素级的开放世界异常检测。
• 设计异常暴露采样器，将分割数据集的目标类别重新组织为伪异常样本，使训练完全不依赖VAD数据。
• 提出基于反向注意力的视觉令牌压缩方法，抑制背景冗余token，降低MLLM推理的计算成本。
• 提出多尺度语义投影器，把MLLM的视频级语义与逐帧视觉特征融合，生成帧粒度特征供掩码解码器使用。
• 在UBnormal、ShanghaiTech、UCF-Crime、XD-Violence、UCSD Ped2五个数据集上验证，零样本性能全面超过此前的无监督、少样本乃至部分弱监督方法。

总体思路

LAVIDA的流程是：先用「异常暴露采样器」把语义分割数据集改造成带文本描述的伪异常样本，构成训练集；输入的视频/图像经视觉骨干和CLIP文本编码器得到视觉特征与类别特征，同时MLLM结合异常类别提示抽取出一个聚合了语义信息的特殊token特征；为了减少背景干扰，视觉token先经过基于反向注意力的压缩；随后多尺度语义投影器把MLLM的视频级语义特征与逐帧视觉特征融合为帧粒度特征，送入由SAM2初始化的多级掩码解码器，最终同时输出帧级异常分数与像素级异常掩码。整个训练只用伪异常数据，不触碰任何真实VAD标注。

异常暴露采样器

语义分割数据集场景丰富、类别多样，但异常样本天然稀少。采样器的思路是把「一个样本里混入与自身无关的其他类别」人为制造出「真实类别 vs 干扰类别」的判别难度：

$$S_i^{irr}=\{s_j \mid j\sim \mathrm{Unif}\{1,...,n\}\setminus\{i\},\ |J|=K_E-1\}$$

其中 $K_E$ 是每个样本提示里出现的候选类别总数，训练时随机取值，使MLLM学会处理任意数量的异常类型。在此基础上，每个样本以概率 $p$ 被标记为异常（类别集合中加入该样本的真实类别、帧标签全为正），以概率 $1-p$ 标记为正常（类别集合只含干扰类别、帧标签全为负）：

$$(c_i,y_i^f)=\begin{cases}(S_i^{irr}\cup\{s_i\},\ \mathbf{1}_T) & \text{以概率 } p\\ (S_i^{irr},\ \mathbf{0}_T) & \text{以概率 } 1-p\end{cases}$$

这样无需任何VAD数据，就能让模型在训练阶段反复练习「从一堆候选类别里挑出真正发生的异常」这件事，天然具备跨场景、跨类别的泛化能力。

反向注意力令牌压缩

异常目标通常只占视觉输入的很小一部分，而背景token数量多、特征相似度高，直接识别「异常token」很难，但识别「背景token」相对容易——可以用局部密度估计：视觉编码后得到token特征 $Z\in\mathbb{R}^{L_z\times D_z}$，在其K近邻 $N_k(z_i)$ 内计算局部密度：

$$\rho(z_i)=\frac{k}{\sum_{z_k\in N_k(z_i)}\lVert z_i-z_k\rVert_2}$$

取密度最高的 $L_r$ 个token组成背景参考集 $Z^b$，再把 $Z$ 中每个token按最近欧氏距离分配给某个背景token，对每个背景token $Z_i^b$ 仅在其所辖的token集合 $N_i$ 内做「反向」注意力，凸显与背景最不相似的特征：

$$Z_i'=\mathrm{Softmax}\!\left(\frac{-Z_i^b Z_{N_i}^{\top}}{\sqrt{D_z}}\right)\cdot Z_{N_i}$$

负号让注意力权重偏向「与背景差异大」的token，从而把 $L_z$ 个原始视觉token压缩成 $L_r$ 个保留了异常相关信息的紧凑表示，既降低MLLM推理算力，又让后续模块更容易聚焦稀疏的异常区域。这是论文处理「异常时空稀疏性」这一核心难点的关键设计——不是靠监督信号去定位异常，而是反过来用「背景的高密度、高相似性」作为间接线索。

异常语义提取

借鉴LISA的做法，LAVIDA扩展MLLM词表加入特殊token <SEG>，把异常类别填入模板构造提示（如「USER: Find the anomaly in this video. Anomaly types may contain {c_i}. ASSISTANT: Sure, it is <SEG>.」），取该token最后一层的隐藏表示作为聚合了语义信息的异常语义特征：

$$f_{sem}=\Phi_{MLLM}(x,c)$$

这一步让模型具备开放世界的语义理解能力——异常是否成立取决于场景上下文（同一个动作在不同场景可能正常也可能异常），而MLLM的语言理解力正好弥补了传统VAD模型「只认像素模式、不懂语义」的短板。

特征编码与多尺度语义投影器

视觉骨干 $\Phi_v$ 与CLIP文本编码器 $\Phi_t$ 分别编码视觉输入和异常类别文本：$f_v=\Phi_v(x_i)$，$f_c=\Phi_t(c_i)$。但MLLM抽取的 $f_{sem}$ 只是视频级的粗粒度语义，缺乏逐帧细节。为此设计多尺度语义投影器，先用类别特征与视觉特征做跨帧的交叉注意力得到帧级语义：

$$f_a=W_o\cdot\mathrm{CrossAttn}(W_cf_c,\,W_vf_v,\,W_vf_v)$$

再将 $f_{sem}$ 沿时间维展开并经映射矩阵 $W_{LLM}$ 变换后与 $f_a$ 拼接，通过一个仿SAM的双向Transformer投影器，让可学习查询与两类特征相互更新，映射进掩码解码器的潜空间：

$$f_{proj}=\Phi_{proj}([W_{LLM}f_{sem},\,f_a])$$

这样粗粒度的视频级语义和细粒度的逐帧视觉线索被同时注入查询向量，弥合了MLLM输出粒度与像素级检测所需粒度之间的落差。

多级掩码解码器与目标函数

把 $f_{proj}$ 作为SAM2的稀疏提示嵌入，结合视觉特征 $f_v$ 解码出像素级分数与目标存在置信度，后者直接复用为帧级异常分数：

$$\hat{y}_i^f,\hat{y}_i^p=\Phi_d(f_{proj},f_v)$$

整体训练目标由MLLM文本生成损失与SAM2式分割损失加权组成：

$$\mathcal{L}=\lambda_{txt}\mathcal{L}_{txt}+\lambda_{seg}\mathcal{L}_{seg}$$

通过复用SAM2预训练的分割能力，模型无需专门的像素级VAD标注即可输出精细的异常掩码。

小结

LAVIDA的关键不在某个单一模块，而在于把「伪异常采样」「MLLM语义理解」「反向注意力压缩」「多尺度特征融合」拼成一条完整链路，使VAD训练彻底摆脱对真实异常标注的依赖，同时兼顾帧级判别与像素级定位。

训练集仅用外部语义分割数据改造的异常暴露数据，不含任何VAD标注；评测覆盖UBnormal、ShanghaiTech、UCF-Crime、XD-Violence（帧级）和UCSD Ped2（像素级）。LAVIDA在零样本设置下多数据集取得SOTA，消融验证了类别数、压缩比例、投影器结构的影响。

关键数据

该工作把「异常检测」从依赖真实异常标注的范式，转向用通用分割数据合成伪异常+MLLM语义理解的零样本范式，为开放世界VAD提供了一条不依赖特定场景训练数据的新路径，后续开放词表/开放世界异常检测工作可以复用其伪异常构造思路与令牌压缩机制来降低MLLM接入视频任务的算力门槛。

局限与不足

论文在UCF-Crime数据集上明确承认未能超过弱监督方法，作者将其归因于该数据集分辨率较低，使MLLM难以辨认画面中的小目标异常，说明方法的语义理解优势依赖于视频的空间分辨率，对低清监控画面的鲁棒性有限。此外，异常类别数 $K_E$、压缩比例、查询数量等超参数都存在明显的「先升后降」的最优区间（如 $K_E$ 在30附近最优、压缩比低于0.1性能骤降），说明模型对提示长度和token压缩强度较为敏感，需要针对新场景重新调参；训练仍依赖高质量的外部语义分割数据集和预训练MLLM/SAM2权重，整体链路较长、组件较多，部署和复现的工程成本不低。