Self-alignment of Large Video Language Models with Refined Regularized Preference Optimization大型视频语言模型的自对齐：基于精细化正则偏好优化

大型视频语言模型（LVLM）在细粒度时序理解、幻觉抑制等简单视频问答任务上仍频繁出错。本文提出一个无需人工标注的自对齐框架：先对视频施加时空扰动诱导模型自己犯错，收集其错误响应与正确答案构成偏好对；再提出RRPO偏好优化算法，用子序列级精细化奖励只惩罚真正错误的概念token，并配合token级KL正则约束整体似然，解决了DPO奖励粒度粗、易发散的问题。RRPO在VideoChat2、LLaVA-Video、LongVU三种架构上都取得比DPO更稳定、更精确的对齐效果。

此前LVLM的post-training对齐大都直接套用文本领域的DPO：把整条响应当作一个整体施加奖励，惩罚力度粗放，容易导致模型在长响应上梯度过大而显著偏离基座模型、丧失原有能力；而视频任务的错误往往集中在少数时空细节（如误判动作顺序、被语言先验带偏），响应级奖励无法精准定位这些token。TDPO、DDPO、DPA等同期工作分别尝试改进正则化或奖励粒度，但未能同时兼顾两者。

关键贡献

• 提出无需人工标注、可直接复用现有视频指令数据自我迭代的自对齐框架，让LVLM从自身错误中学习。
• 设计时空扰动（遮挡+时序打乱）机制诱导模型犯下真实的时空理解错误，构造高质量偏好对数据。
• 提出RRPO，用子序列级精细化奖励只惩罚偏好对中真正不同的关键概念token，克服DPO响应级奖励粒度过粗的问题。
• 引入token级KL正则化项抑制精细化奖励带来的奖励攻击，即模型输出不完整但含正确概念的捷径响应。
• 从理论上证明RRPO的梯度范数严格小于DPO，从而支持更大学习率与更小的模型偏移。
• 在VideoChat2、LLaVA-Video、LongVU三种异构架构上系统验证方法的有效性与泛化性。

总体思路

自对齐框架分两步走：第一步从视频指令数据集中采样 $(x_v,x_q,y^+)$ 三元组，对视频施加时空扰动后让待对齐模型 $\pi_\theta$ 自己在错误信息下推理，把它自己犯的错误 $y^-$ 与人工正确答案 $y^+$ 配成偏好对；第二步用专门设计的 RRPO 损失在这些偏好对上微调 $\pi_\theta$，让模型在保留原有能力的同时压低错误子序列的概率、抬高正确子序列的概率。整条流水线不需要额外人工标注，可以直接复用已有的视频指令微调数据自我迭代生成训练信号。

时空扰动自举偏好数据

用扰动函数 $f_p$ 对原始视频 $x_v$ 遮挡 25%-50% 的帧内容并施加随机、局部或全局的时序打乱，得到 $\hat{x}_v=f_p(x_v)$，用来模拟模型「过度依赖语言先验、忽视时空一致性、误信共现概念」等常见错误来源。把 $\hat{x}_v$ 与问题 $x_q$ 一起喂给 $\pi_\theta$ 得到响应 $y^-=\pi_\theta(x_q,\hat{x}_v)$，只保留确实错误的样本，再用 GPT-4o-mini 比对 $y^-$ 与 $y^+$ 定位关键概念差异（动作、物体、属性、关系等），必要时改写 $y^+$ 使两者结构对齐，最终去重得到 14K-18K 条高质量偏好对。

DPO的响应级奖励及其局限

DPO 把奖励定义为模型与参考模型在整条响应上似然比的对数，再用 sigmoid 化的边际做二元偏好损失：

$$\mathcal{L}_\text{DPO}(\pi_{\theta};\pi_\text{ref}) = -\mathbb{E}_{(x,y^+,y^-)\sim\mathcal{D}}\Bigl[\log\sigma\bigl(r_\theta(x,y^+)-r_\theta(x,y^-)\bigr)\Bigr],\quad r_\theta(x,y)=\beta\log\frac{\pi_\theta(y|x)}{\pi_\text{ref}(y|x)}$$

问题在于 $r_\theta(x,y)$ 对响应里的每一个 token 都同等惩罚，而 $y^+$ 与 $y^-$ 往往只有少数关键概念不同，这种粗粒度奖励既不精确，又会在长响应上产生过大的梯度，使模型明显偏离参考模型、丧失原有能力。

子序列级精细化奖励

RRPO 把响应 $y$ 看作 token 序列 $T=\{t_1,\dots,t_{|y|}\}$，只对包含关键差异概念的子序列 $y_i=T[s_i:e_i]$ 计算奖励，从而把惩罚精确定位到真正不同的那几个 token：

$$r_\theta(x,y_i)=\beta\log\frac{\prod_{j=s_i}^{e_i}\pi_\theta(t_j\mid x,t_{<j})}{\prod_{j=s_i}^{e_i}\pi_\text{ref}(t_j\mid x,t_{<j})}$$

基于排序损失的偏好目标

假设一对响应中共有 $N$ 个这样的差异子序列，先把各子序列的奖励差求和得到总奖励边际 $u$，再套用与 DPO 相同形式的排序损失：

$$u=\sum_{i=1}^{N}u_i=\sum_{i=1}^{N}\bigl(r_\theta(x,y_i^+)-r_\theta(x,y_i^-)\bigr),\qquad \mathcal{L}_{\text{RRPO}}^{(\text{rank})}(\pi_\theta;\pi_\text{ref})=-\mathbb{E}_{(x,y^+,y^-)\sim\mathcal{D}}\bigl[\log\sigma(u)\bigr]$$

token级KL正则化抑制奖励攻击

只优化差异子序列存在一个漏洞：模型可能学会走捷径，只输出正确的关键概念词而省略上下文和完整性，从而在不真正提升响应质量的情况下拿到高奖励，这被称为奖励攻击。为堵住这个漏洞，作者在参考模型与当前模型之间对偏好响应 $y^+$ 的每个位置都计算逐 token KL 散度：

$$\mathbb{D}_{\text{TKL}}(x,y;\pi_\text{ref}\|\pi_\theta)=\sum_{t=1}^{|y|}\mathbb{D}_{\text{KL}}\bigl(\pi_\text{ref}(\cdot\mid[x,y_{<t}])\,\|\,\pi_\theta(\cdot\mid[x,y_{<t}])\bigr)$$

把它作为正则项加进总损失，强制模型在 $y^+$ 全长上都保持接近参考模型的似然，最终的 RRPO 损失为：

$$\mathcal{L}_\text{RRPO}(\pi_\theta;\pi_\text{ref})=-\mathbb{E}_{(x,y^+,y^-)\sim\mathcal{D}}\Bigl[\log\sigma(u)+\alpha\cdot\mathbb{D}_{\text{TKL}}(x,y^+)\Bigr]$$

梯度范数分析：为什么RRPO训练更稳定

这一节回答「为什么要设计成子序列奖励+token级KL」而不是直接沿用DPO：假设任意单 token 对数似然的梯度范数被 $M$ 界定、差异子序列平均长度为 $L$，RRPO排序损失的梯度范数上界约为 $\beta M(2NL)$，而DPO的梯度范数上界为 $\beta M(|y^+|+|y^-|)$；由于差异子序列的总长度 $2NL$ 远小于完整响应长度，前者天然远小于后者。再加上 $\mathbb{D}_{\text{TKL}}$ 的梯度恒为负、进一步压低整体梯度幅度，三者呈严格递减关系：

$$\|\nabla_\theta\mathcal{L}_\text{RRPO}\|<\|\nabla_\theta\mathcal{L}_{\text{RRPO}}^{(\text{rank})}\|<\|\nabla_\theta\mathcal{L}_\text{DPO}\|$$

梯度更小意味着可以使用更大的学习率而不至于发散：实验中RRPO用了10倍于DPO的学习率，训练后模型相对参考模型的KL散度仅为1，而DPO为20，这正是「精细化奖励+强正则」设计带来的稳定性红利。

小结

RRPO 的关键在于把DPO的「整条响应统一惩罚」换成「只惩罚真正不同的关键概念子序列」，再用token级KL把这种精细化奖励的捷径漏洞堵住，两者共同把梯度范数压到远小于DPO的水平，从而实现更精确、更稳定的偏好对齐。

基于VideoChat-IT子集构造14K-18K条偏好对，在VideoChat2、LLaVA-Video、LongVU（均7B）上用LoRA训练，于TVBench、VideoHallucer、VideoMME、MLVU等8个基准评测，RRPO稳定超越DPO、TDPO、DDPO、DPA及LLaVA-Video-TPO。

关键数据

RRPO是DPO之后一类「细粒度奖励、强正则化」偏好优化方法的代表，给出了梯度范数严格递减的理论证明，为后续视频与多模态偏好对齐方法在奖励粒度设计和正则化强度上提供了可复用的分析框架，实验中稳定优于同期TDPO、DDPO、DPA及LLaVA-Video-TPO。

局限与不足

论文只做了一轮静态数据集上的自对齐，未探索迭代式自对齐（用对齐后模型重新生成扰动数据再训练），作者在结论中也把这一点留作未来工作；扰动方式局限于遮挡加时序打乱，可能无法覆盖模型在真实场景下的全部错误模式，例如单帧级别的细粒度视觉错误；错误响应的验证与概念对齐高度依赖GPT-4o-mini作为裁判，其判断偏差会直接传导进训练数据质量；实验只在7B规模的三种LVLM上验证，更大规模模型或纯图像单帧任务上的普适性尚未证实。