Aligning Human Sense: Calibrated Distributional Reward Learning for Video Generation对齐人类感知：面向视频生成的校准式分布奖励学习

视频生成的人类偏好对齐面临三个痛点：标注噪声污染奖励信号、单一标量奖励丢失多维偏好的权衡、GRPO中KL散度只能施加局部约束而抓不住整体偏好结构。本文提出三段式统一框架：先用「精英引导校准」筛出高一致性标注训练评分器，反哺校准低质量标注、扩充可信监督集；再把视频质量建模为K维奖励分布，用Wasserstein距离对齐人类经验分布；最后把GRPO里的KL约束换成Wasserstein距离，让策略优化在全局分布层面逼近人类偏好。三步分别解决数据、奖励表征、策略优化三个层级的错位问题。

视频生成的偏好对齐沿用语言模型的RLHF/DPO/GRPO范式，但视频偏好更具多维性与主观噪声：人工标注因标注者差异产生噪声，直接训练会污染奖励信号；VideoScore、VisionReward等已有奖励模型仍把多维偏好压成单一标量，丢失维度间的耦合权衡；GRPO用KL散度做逐步局部约束，无法反映整体语义演化，导致策略偏向保守、动态贫乏的去噪轨迹。

关键贡献

• 提出统一的人类偏好对齐框架，同时解决数据可靠性、奖励表征、策略对齐三层级的错位问题
• 设计精英引导的偏好校准（EGPC）机制，用高一致性子集训练评分器反哺低质量标注的重新校准
• 把视频质量建模为多维奖励分布并引入Wasserstein距离作为分布级对齐目标，替代传统标量回归
• 提出Wasserstein-based GRPO（WGRPO），用Wasserstein距离取代KL散度作为策略更新的全局行为约束
• 在Video-Bench和VidProM上对奖励建模与三种主流文生视频模型做系统实验，验证框架的有效性与跨优化器泛化性

总体思路

整个框架分三个串联阶段：第一阶段「精英引导偏好校准（EGPC）」先从原始标注里挑出高度一致的子集训练一个可信评分器，再用它反过来校准剩余的噪声标注，扩充出一份大规模且可信的监督集；第二阶段「偏好感知奖励建模」在这份校准数据上训练一个VLM奖励模型，但不再输出单一标量，而是预测一个K维偏好分布，并用Wasserstein距离把预测分布拉向人类经验分布；第三阶段「偏好引导的策略优化」把这一奖励模型接入GRPO式的强化学习循环，同时把GRPO里原本用于约束策略更新的KL散度替换成Wasserstein距离，让视频生成策略在全局分布意义上逼近人类偏好，而不只是逐步匹配局部统计量。三个阶段依次解决「标注不可信」「奖励表征太单一」「策略约束太局部」三个根源问题。

精英引导的偏好校准（EGPC）

给定标注数据集 $\mathcal{D}=\{(v_i,p_i,\mathbf{x}_i)\}_{i=1}^N$，其中 $\mathbf{x}_i=\{x_{i1},\dots,x_{in}\}$ 是 $n$ 位标注者给出的评分。若样本 $i$ 满足「所有标注者评分一致，或至多一个离群评分且其与众数之差不超过1」，即归入高质量子集 $\mathcal{D}_H$，其余归入低质量子集 $\mathcal{D}_L=\mathcal{D}\setminus\mathcal{D}_H$。先在 $\mathcal{D}_H$ 上训练一个精英评分器 $f_\theta$： $$\theta^{*}=\arg\min_{\theta}\frac{1}{|\mathcal{D}_H|}\sum_{(v_i,p_i,\mathbf{x}_i)\in \mathcal{D}_H}\ell\big(f_{\theta}(v_i,p_i),\,\mathrm{agg}(\mathbf{x}_i)\big)$$ 再用训练好的 $f_{\theta^{*}}$ 对 $\mathcal{D}_L$ 中每个样本重新打分得到 $\hat{x}_i$，与高质量子集合并成扩充监督集 $\mathcal{D}_H^{\mathrm{aug}}=\mathcal{D}_H\cup\mathcal{D}_L^{*}$，既保留专家共识的结构完整性，又大幅扩充了有效监督规模。

多维奖励分布与Wasserstein对齐

传统奖励模型只输出一个标量分数，把语义合理性、视觉自然度、时序连贯性等多个互相耦合、此消彼长的偏好维度硬压成一个数，丢失了结构信息。本文让奖励模型对每个视频-提示词对 $(v_i,p_i)$ 预测一个 $K$ 维条件分布 $p_\theta(\mathbf{z}\mid v_i,p_i)$，把对应的校准标签 $\mathbf{y}_i\in\mathbb{R}^K$ 视为经验分布 $\delta_{\mathbf{y}_i}$，用Wasserstein距离度量两者的分布级差异： $$\mathcal{L}_{W}(v_i,p_i)=W_p\big(p_{\theta}(\mathbf{z}\mid v_i,p_i),\,\delta_{\mathbf{y}_i}\big)$$

奖励模型的联合训练目标

分布对齐项并不替代传统回归监督，而是作为补充项与MSE联合优化，二者权衡由 $\lambda$ 控制： $$\mathcal{L}_{\mathrm{total}}=\mathcal{L}_{\mathrm{MSE}}+\lambda\mathcal{L}_{W},\qquad \mathcal{L}_{\mathrm{MSE}}=\mathbb{E}_{(v,p,\mathbf{y})\sim\mathcal{D}}\left\|f_{\theta}(v,p)-\mathbf{y}\right\|_2^{2}$$ 单纯MSE只保证预测值逐点接近标签的均值，Wasserstein项额外约束整体分布形状与人类评分的分布结构对齐，这正是消融实验里 $\mathcal{L}_W$ 能持续带来准确率提升的原因。

WGRPO：策略优化中的Wasserstein对齐

把上一步训练好的奖励模型接入GRPO式策略优化。给定提示词 $\mathbf{c}$，旧策略 $\pi_{\theta_{\text{old}}}$ 采样一组 $G$ 条候选轨迹，按重要性比 $\rho_{t,i}=\pi_\theta(a_{t,i}\mid s_{t,i})/\pi_{\theta_{\text{old}}}(a_{t,i}\mid s_{t,i})$ 与组内标准化优势 $A_i=(r_i-\mathrm{mean}(r_1,\dots,r_G))/\mathrm{std}(r_1,\dots,r_G)$ 构造PPO式裁剪目标： $$L_{t,i}(\theta)=\min\big(\rho_{t,i}A_i,\ \operatorname{clip}(\rho_{t,i},1-\epsilon,1+\epsilon)A_i\big)$$ 在此基础上，把GRPO里常见的KL惩罚项换成新策略输出分布 $\pi_\theta$ 与参考策略 $\pi_{\mathrm{ref}}$ 之间的Wasserstein距离，得到最终优化目标： $$\mathcal{L}_{\mathrm{WGRPO}}(\theta)=-\mathcal{L}_{\text{CLIP}}(\theta)+\beta\,W\!\left(\pi_\theta,\pi_{\mathrm{ref}}\right)$$ 其中 $\mathcal{L}_{\text{CLIP}}$ 是对所有组、所有时间步的裁剪目标取期望，$\beta$ 控制分布对齐惩罚的强度。

为什么用Wasserstein距离取代KL散度

KL散度只在扩散过程的每一步局部比较两个分布在同一点上的密度比，是一种逐点、瞬时的约束，既不考虑时间步之间的依赖关系，也不反映语义随时间步演化的整体轨迹。策略为了避免局部KL惩罚，往往倾向选择「安全」的去噪路径，生成动作保守、缺乏复杂动态交互的视频——即便这些样本在局部统计量上与参考策略吻合，整体视觉合理性和时序连贯性却系统性偏离人类偏好。Wasserstein距离衡量的是把一个分布搬运到另一个分布所需的最小传输代价，天然刻画的是分布的全局几何结构，因此能把「像不像人类整体偏好」这个更宏观的目标直接写进策略优化的约束项，而不只是防止单步跑偏。

小结

三段式框架的核心是把「分布对齐」而非「逐点匹配」的思想贯穿到数据校准、奖励建模、策略优化全流程：用精英标注校准噪声监督，用Wasserstein对齐多维奖励分布，再用Wasserstein替代KL约束策略更新，三处呼应同一个判断——人类偏好本质上是一种全局的、多维的分布结构，逐点、标量式的约束天然会丢信息。

实验在Video-Bench（8799视频、9维标注）和VidProM（5万条提示词）展开，奖励模型基于Qwen2-VL-2B+LoRA微调，在Wan2.1、CogVideoX、ModelScope-T2V上做GRPO式优化。校准数据与Wasserstein对齐在两端均稳定超过基线，跨多种优化器也保持一致提升。

关键数据

本文把「分布对齐」思想系统性地贯穿到偏好数据校准、奖励建模、策略优化三个阶段，为视频生成对齐提供了一条与语言模型RLHF/DPO范式并行但更贴合视频多维、时序特性的路线。其WGRPO对KL散度的替换思路，为后续在扩散/流匹配策略优化中引入更强的全局分布约束提供了可复用的模板。

局限与不足

论文对Wasserstein距离的具体计算方式（如是否采用Sinkhorn近似、切片Wasserstein或精确最优传输求解）未在正文中给出实现细节，实际计算代价和数值稳定性缺乏讨论；EGPC的一致性判定规则（评分差不超过1视为高质量）是一个人工设定的阈值，未说明其对不同评分尺度或标注者数量的敏感性；实验仅在Video-Bench和VidProM两个数据集、Qwen2-VL-2B单一奖励模型骨架、三个中等规模文生视频模型上验证，尚未在更大规模模型或更多样化的评测基准上检验方法的可扩展性；此外优化后模型在Subject Consistency上出现小幅下降，说明动态质量与主体一致性之间存在尚未很好解决的权衡。