CoCoVideo: The High-Quality Commercial-Model-Based Contrastive Benchmark for AI-Generated Video DetectionCoCoVideo：面向AI生成视频检测的高质量商业模型对比基准

本文针对AI生成视频检测的两大痛点：数据集多依赖开源生成模型、画质与商业系统差距明显，含少量商业样本的数据集又常带可见水印。作者提出CoCoVideo-26K基准与CoCoDetect框架。CoCoVideo-26K以OpenVid-1M为真实视频源，用13个商业视频生成模型复用同一首帧和文本各生成1000条视频，构造语义对齐的真-假视频对；CoCoDetect用R3D-18骨干抽取时空特征，双头网络分别输出真伪置信度与对比嵌入，训练只约束配对样本的嵌入分离，推理时对低置信度样本引入MLLM推理并与基础置信度融合。

早期深度伪造检测聚焦人脸交换视频，依赖纹理、姿态或频域异常等底层线索；随着基于扩散模型的文本/图像到视频生成系统（如Sora）兴起，视频伪造从人脸操纵扩展到开放域内容生成。但现有AIGC视频检测数据集（如GenVideo、GenVidBench、GenBuster）几乎全部用开源生成模型构造伪造样本，即便含少量商业模型样本也常带可见水印，导致检测器在低质量伪造模式上过拟合，难以泛化到无水印的高保真商业AIGC视频。

关键贡献

• 构建CoCoVideo-26K数据集，覆盖13个主流商业视频生成模型的语义对齐真假配对，规模约26,000条视频。
• 数据集用同一首帧图像与同一文本prompt驱动生成，使每对真假视频除真实性外语义高度一致。
• 提出CoCoDetect检测框架，将R3D-18双头对比学习与置信度门控的MLLM推理结合起来。
• 设计只约束成对样本而非全局类别的对比损失，避免真伪视频类内语义方差过大破坏聚类效果。
• 提出无需训练的自适应加权公式融合MLLM语义置信度与网络纹理置信度，避免可学习权重带来的过拟合。
• 在CoCoVideo及五个公开基准上验证方法的领先性能与跨数据集鲁棒性。

总体思路

CoCoDetect 的输入是一条5秒短视频，先经 R3D-18 时空卷积骨干抽取一个512维的全局特征 $\mathbf{F}$；该特征分别送入两个并行的头：置信度头输出该样本为真实视频的概率 $\mathbf{P}$，投影头输出一个128维、经过L2归一化的对比嵌入 $\mathbf{Z}$。训练阶段用真-假成对批次，同时优化二元交叉熵置信度损失与只约束配对样本的对比损失；推理阶段先看置信度头的输出，只有落在不确定区间的样本才被送入多模态大模型（MLLM）做语义级推理，再把 MLLM 的语义置信度与网络的纹理置信度融合成最终判别结果。

CoCoVideo-26K：语义对齐的真-假视频配对

数据来源于 OpenVid-1M，筛出约13,000条高质量真实视频，并直接复用其自带的文本描述作为生成 prompt。每条真实视频都用同一张首帧图像与同一句文本，分别交给13个主流商业视频生成模型（Sora、Veo3、Kling、Runway Gen4 Turbo等）各生成1,000条对应的伪造视频，从而保证一对真假视频除真实性外在首帧构图与语义内容上高度一致。数据集按「获取→过滤→配对生成→后处理」四阶段流程构建，整体规模约26K条，视频统一为5秒、多数为30fps。

双头网络架构：置信度头与投影头

骨干网络把批量输入 $\mathbf{X}\in\mathbb{R}^{B\times C\times T\times H\times W}$ 映射为特征矩阵：

$$\mathbf{F}=f_{\text{backbone}}(\mathbf{X}),\quad \mathbf{F}\in\mathbb{R}^{B\times d_{\text{feat}}}$$

置信度头是三层MLP接Sigmoid，直接输出真伪概率；投影头是两层带批归一化的MLP，输出再做L2归一化得到对比嵌入：

$$\mathbf{P}=\sigma(\text{MLP}_{\text{conf}}(\mathbf{F})),\quad \mathbf{Z}=\frac{\text{MLP}_{\text{proj}}(\mathbf{F})}{\|\text{MLP}_{\text{proj}}(\mathbf{F})\|_2}$$

两个头共享骨干特征，却分别服务于判别与表征学习两个目标。

成对对比损失：为什么不做全局类别对比

传统监督对比学习会把所有同标签样本拉近、异标签样本推远，但AIGC检测中真实视频跨越各种场景内容、伪造视频又来自不同生成方法，类内语义方差本身就很大，全局按类别聚类反而会破坏这种多样性。CoCoDetect 因此只对语义严格对齐的真-假配对 $(i,j)$（共享首帧和文本、标签相反）施加分离约束，用余弦相似度 $s_{ij}=\mathbf{z}_i\cdot\mathbf{z}_j$ 度量配对是否被推开：

$$\mathcal{L}_{\text{pair}}=\frac{1}{N_{\text{pairs}}}\sum_{i,j=1}^{B}\max(0,\,s_{ij}-(1-m))$$

其中边界超参数 $m\in[0.5,1.5]$ 控制目标分离角度，$m$ 越大意味着要求配对嵌入的夹角越大（从60°到120°）。总损失是该项与二元交叉熵置信度损失的加权和：

$$\mathcal{L}_{\text{total}}=\alpha\cdot\mathcal{L}_{\text{conf}}+(1-\alpha)\cdot\mathcal{L}_{\text{pair}}$$

置信度门控：只把不确定样本交给MLLM

门控机制的出发点是一个经验观察——模型预测的准确率与其置信度高度相关，但以往伪造检测方法很少利用这一相关性，因为缺少有效的备选推理通路。CoCoDetect 把落在不确定区间 $1-\tau<p<\tau$ 的样本路由给MLLM，让其基于抽取的关键帧、置信度分数与推理指令，输出结构化的JSON结果 $\{\hat y,\hat p,\text{reasoning}\}$；高置信度样本则直接采用置信度头的判别结果，从而避免对所有样本都调用成本高昂的MLLM推理。

MLLM决策融合：一个不需要训练的加权公式

MLLM 的语义置信度 $\hat p$ 与网络置信度 $p$ 语义空间不同，需要先对齐：

$$\tilde p=0.5\big(\hat y(1+\hat p)+(1-\hat y)(1-\hat p)\big)$$

再用自适应权重 $u$ 把两者融合为最终置信度：

$$p_{\text{final}}=u\cdot\tilde p+(1-u)\cdot p,\qquad u=\sqrt{2\lvert \tilde p-0.5\rvert}$$

作者最初尝试把 $u$ 设为可学习参数，结果模型过度依赖MLLM输出、泛化能力反而下降；换成这个固定的解析式后，$\tilde p$ 越接近0或1（MLLM越笃定），$u$ 就越大，MLLM的影响权重才越高，是一种按置信程度自适应信任的简单规则。

小结

CoCoDetect 的关键不是更复杂的骨干，而是让轻量对比学习捕捉纹理差异与MLLM按需介入捕捉语义常识错误分工协作，并配合语义严格对齐的CoCoVideo-26K数据集把这种分工的价值真正兑现出来。

实验在CoCoVideo-26K测试集及GVD、GenVideo、GenVidBench、GenBuster等公开基准上进行，与3D ResNet、VideoMAE、DeMamba等基线对比，并做去投影头/去MLLM的组件消融。结论：CoCoDetect在自建基准上四项指标全面领先，跨数据集迁移优势收窄。

关键数据

该工作首次系统性地用不含水印的付费商业视频生成模型构建语义对齐真假配对基准，弥补了以往数据集依赖开源模型、画质与真实商业系统脱节的短板；其轻量对比学习加按置信度选择性调用MLLM的设计，也为后续融合判别式模型与语义推理的检测框架提供了可复用范式，论文已被CVPR 2026接收。

局限与不足

数据集规模仅约26K条视频（13个模型各1,000条），主要受限于商业API调用预算，规模明显小于GenVideo（227万条）、GenBuster（20万条）等基于开源模型构造的数据集；跨数据集泛化能力有限，在GenVideo上F1骤降至33.19%（真实视频84.8% vs 伪造视频23.55%），作者将其归因于该基准伪造片段普遍过短、缺乏可判别的时序内容；部分商业生成模型会把输入内容扩展匹配自身预设分辨率，导致真假配对出现分辨率不一致，为检测引入额外噪声；MLLM推理仅依赖关键帧和置信度分数，在自然场景语义正常但纹理伪影不明显的失败样例中仍会与基础网络一起误判；当前方法也尚未覆盖音频等其他模态信息。