Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning面向增强音视频字幕生成的时序与跨模态对齐方法

现有音视频字幕模型常常「先说完画面再说声音」（模态割裂）且分不清声音和画面谁先谁后（时序错位）。本文提出 TCA-Captioner：先用 Observer-Checker-Corrector 三阶段流水线，靠多个大模型互相核查生成高保真、可溯源的训练字幕，再在专门筛选的高密度人际互动难例上对 Qwen3-Omni 做微调；配套推出 TCA-Bench 诊断基准，用解耦评测协议把单模态感知和跨模态绑定/时序推理分开打分，精准定位现有模型的短板所在。

早期视频字幕模型以视觉为中心，忽略语音、环境音等听觉线索；全模态 MLLM 及 AVoCaDO、video-SALMONN-2 等专用字幕器开始融合两路信号，但普遍存在「模态割裂」——先描述完画面再补声音，忽视同步关系；以及「时序错位」——分不清声音和画面谁先谁后。已有基准只做整体打分或事件匹配，诊断不出模型是感知错了还是跨模态推理错了。

关键贡献

• 提出 Observer-Checker-Corrector（OCC）迭代式数据合成框架，用三重独立核查生成高保真、逐句可溯源的音视频字幕训练数据。
• 构建覆盖多人对话与复杂动作的高密度人际互动数据集，为模型学习精细跨模态绑定和时序推理提供监督信号。
• 基于 OCC 流水线数据对 Qwen3-Omni 进行 LoRA 微调得到 TCA-Captioner，在多项公开基准上取得开源模型中的最优表现。
• 提出 TCA-Bench 诊断式评测基准，用结构化的音视频绑定列表与时序关系三元组标注跨模态依赖关系。
• 设计解耦评测协议，把基础单模态感知与高阶跨模态绑定、时序推理分开打分，精准定位模型失败的具体环节。
• 通过消融实验验证 OCC 各核查模块与 DPO 偏好对齐对最终字幕质量的独立贡献。

总体思路

TCA-Captioner 针对现有音视频字幕生成模型「模态割裂」（先说完画面再说声音）和「时序错位」（听不出声音发生在动作之前还是之后）两大顽疾，提出一整套「造数据-训模型-建评测」的闭环方案：先用 Observer-Checker-Corrector（OCC）三阶段流水线，靠多个 MLLM 互相核查生成高保真、逐句可溯源的音视频字幕训练数据；再用一批专门筛选出的「高密度人际互动」片段（多人对话、动作伴随撞击音等难例）对 Qwen3-Omni 做 LoRA 微调得到 TCA-Captioner；最后配套 TCA-Bench 诊断式评测基准，用「解耦评测协议」把单模态感知误差和跨模态绑定/时序推理误差分开打分，让模型到底卡在哪一步一目了然。

Observer-Checker-Corrector 数据合成流水线

OCC 采用「分而治之」思路而非一次性标注：Observer（Gemini-3-Pro）先做全局扫描，产出带亚秒级时间戳的高密度初稿，覆盖声音事件、视觉实体、镜头运动、氛围风格等多类要素；随后三个独立的 Checker 分别核查初稿的音频、视觉、跨模态部分是否存在幻觉或遗漏；最后 Corrector（同样是 Gemini-3-Pro）把 Observer 初稿与三份核查报告融合，产出既忠于单模态事实、又保持跨模态一致性的最终字幕。三阶段角色分离，使得任何一步的错误都有机会在下一步被专门的模块纠正，而不是被同一个模型自己「盲审」自己。

三重取证式 Checker

三个 Checker 各管一段、互不越界：Audio Forensic Checker 只听音轨，核实措辞是否逐字准确、音色与混响等细节是否遗漏，专防「幻听」；Visual Forensic Checker 只看无声视频，核对动作轨迹与物理因果是否自洽——论文发现 Gemini-3-Pro 直接看画面时幻觉偏多，于是换用静默视频理解能力更强的 Doubao-1.8 承担这一角色；Audio-Visual Clip Checker 才是核心，专门判定「声音绑定到了哪个视觉实体」以及「声音和画面谁先谁后」，为控制算力，它用 Gemini-3-Flash 以 2 秒为窗口滑动逐段核查，并给每个片段标上序号和时间戳以方便跨片段对齐。处理一段 10 秒视频，OCC 全流程平均消耗约 21,949 个 token，其中 A/V-Clip-Checker 占大头（8,705 个），因为它要逐窗迭代扫全片。

高密度人际互动数据集与训练

现有视频数据集里音视频事件密度普遍偏低，不足以训练模型学会复杂的绑定与时序推理。为此作者从 YouTube 和影视素材中人工精选出 3,500 段「难例」片段（嘈杂环境下的多人对话、快速动作配合撞击音、隐蔽的跨模态因果链），逐条跑完整套 OCC 流水线得到高保真标注；再补充 5,000 条 FineVideo 与 7,000 条 TikTok-10M 样本扩充分布多样性——这批时长更长、内容更简单的样本跳过了 Clip Checker 以节省算力。最终用这套多来源语料对 Qwen3-Omni 骨干做 LoRA 微调，得到 TCA-Captioner。

TCA-Bench 的结构化标注体系

以往音视频字幕基准（video-SALMONN-2 的原子事件匹配、UGC-VideoCap 的整体打分、Omni-Cloze 的完形填空式选择题）都把字幕当成一堆无序事实，评不出模型是否把声音绑对了源头、时序排对了顺序。TCA-Bench 专挑多人对话叠加复杂动作的密集互动片段（5~30 秒），先用 YOLOv8 统计画面人数时间线、Silero VAD 统计语音活动区间，取二者同时满足「多人在场且有人说话」的交集作为候选片段，再经人工复核密度与多样性；每条片段配三层标注：详尽的图文字幕（供基础感知打分）、[声音, 来源] 绑定对列表（区分前景角色、离画角色、环境音）、以及 [事件A, 事件B, 关系] 时序三元组（关系取 A_then_V、V_then_A 或 AV_simultaneous 三者之一）。

解耦评测协议与指标定义

评测拆成两层，避免「听错内容」这类单模态失误污染跨模态推理的打分：第一层 Base Perception 让 LLM 裁判在 0~10 分尺度上分别评音频（转写准确度、语气情感）和视觉（主体动作、场景氛围、摄影运镜）；第二层 Audiovisual Integration 才检验跨模态能力，其中 Binding Accuracy 对每条真值绑定对做两阶段核验——先看候选字幕是否提到该声音事件，再看是否归因到了正确来源，只有两阶段都通过才计分，这样「听错了词」不会连带扣绑定分。Temporal 指标则对每条真值三元组给出 correct / incorrect / skipped 三态判决（缺失事件记为 skipped 而非直接判错，避免漏报被误判为时序错误），再据此算出：

$$\text{Prec} = \frac{|\text{correct}|}{|\text{correct}| + |\text{incorrect}|}$$

$$\text{Cov} = \frac{|\text{correct}| + |\text{incorrect}|}{|\text{GT}|}$$

$$F_1 = \frac{2 \cdot \text{Prec} \cdot \text{Cov}}{\text{Prec} + \text{Cov}}$$

这种三态设计的直觉是：时序判断只应该在「两个事件都被提到」的前提下才有意义，模型少提了事件属于覆盖率问题，不该和「说反了顺序」混为一谈——这正是它相比以往基准更能定位模型具体卡在哪一步的原因。

小结

一句话记住：TCA-Captioner = 三重 Checker 交叉核验的数据合成（OCC）+ 高密度难例微调，TCA-Bench = 先分开测单模态感知、再用绑定与时序两类结构化标注单独测跨模态推理的解耦协议。

实验在 video-SALMONN-2、UGC-VideoCap 与自建 TCA-Bench 上进行，沿用 AVoCaDO 评测协议，对比 Qwen3-Omni、AVoCaDO 等开源模型及 Gemini 2.5/3.0。TCA-Captioner 开源领先，跨模态维度优势明显，部分维度超 Gemini-3.0-Pro

关键数据

TCA-Captioner 把「用多模型互相核查造数据」的思路系统化为可复用的 OCC 流水线，为音视频字幕训练数据的自动化标注提供了新范式；TCA-Bench 的解耦评测协议则为后续音视频 MLLM 的诊断式评估树立了参照，使「绑定错误」与「时序错误」可以被分别追踪和优化。

局限与不足

论文未设独立的局限性章节，但从实验可推断三点不足：一是训练数据合成高度依赖 Gemini-3-Pro/Flash 与 Doubao-1.8 等闭源商业模型，成本高且难以完全复现；二是消融显示 OCC 对 AV Binding 的提升幅度（+5.5）明显小于对 AV Temporal 的提升（+9.9），说明复杂多人场景下环境音归因的幻觉问题仍未被充分解决；三是 TCA-Bench 仅含 459 段 5~30 秒的短视频，且许可协议为 CC BY-NC-SA 4.0 非商业用途，覆盖场景和可用范围都比较有限。