VGA-Bench: A Unified Benchmark and Multi-Model Framework for Video Aesthetics and Generation Quality EvaluationVGA-Bench：面向视频美学与生成质量的统一评测基准与多模型框架

现有的文生视频评测基准（如 V-Bench）把「美学质量」压缩成单一分数，并严重依赖 MUSIQ、DINO 等外部打分模型，评测粒度粗、偏差大。VGA-Bench 提出三层细粒度分类体系——美学质量、美学标签、生成质量共 52 个子维度，设计 1,016 条分维度可控的提示词，用 12 个主流文生视频模型生成超 6 万条视频；训练三个专用多任务评估网络（VAQA-Net、VGQA-Net、VTag-Net），摆脱对外部通用模型的依赖，实现与人类判断高度一致的自动化评测。

V-Bench 等基准是首批系统化评测文生视频模型的工作，把评测拆成视觉质量、提示对齐、运动合理性等子任务，但仍把「美学」当作单一整体指标，且依赖 MUSIQ、DINO 等预训练图像模型做间接推断，粒度不足、容易引入偏差。ChronoMagic-Bench、T2V-CompBench、StoryEval 等后续工作补充了时序一致性、组合保真度等角度，但美学维度仍停留在粗粒度层面，缺少面向生成视频的专用美学理解模型。

关键贡献

• 提出三维细粒度评测框架，把生成质量、美学质量、视觉形式标签各自拆解为可解释的子属性体系，共52个子维度
• 构建1,016条分维度可控的提示词套件，并用12个主流文生视频模型生成超过6万条测试视频，形成迄今最大的整合测试平台
• 训练三个专用多任务评估网络VAQA-Net、VTag-Net、VGQA-Net，摆脱对MUSIQ、DINO等外部打分模型的依赖
• 采用专家主导加众包辅助的标注范式，并用批次抽检机制保证标注质量的一致性
• 对12个代表性文生视频模型做系统评测并开展用户问卷研究，验证模型打分与人类排序的一致性
• 承诺全面开源评测体系、标注数据、模型API与生成视频数据集，保障结果可复现

总体思路

VGA-Bench 的流程是「分类体系 → 提示词套件 → 大规模生成数据 → 人工标注 → 专用评估网络 → 榜单与用户研究验证」六步闭环。先用一套三层分类体系把「好视频」的标准拆成可定义、可标注的子维度；再按维度可控原则设计提示词、用12个文生视频模型批量生成视频；随后由专家主导、众包辅助完成人工打分与打标；最后用这些标注数据训练三个专用神经网络，使其学会自动输出与人类一致的美学分数、美学标签和生成质量等级，替代此前依赖外部通用模型的做法。

三层细粒度分类体系

整个基准建立在「美学质量（10维）+ 美学标签（11维）+ 生成质量（31维）」共52个子维度之上。美学质量维度（构图、景别、光线、影调、色彩、景深、表情、服装、妆容等）改编自 VADB 真实视频数据集，并重新诠释了它们在生成视频中的特殊表现形式，例如生成视频容易出现「漂浮构图」「均匀照明」等真实拍摄中少见的问题；美学标签是可直接分类的结构化属性（如光源方向、光质、饱和度、色温）；生成质量则细分为「文本一致性（11项）」「真实合理性（15项）」「基础质量（5项）」三大类共31项，覆盖语义对齐、物理常识与底层视觉保真度。

维度可控的提示词设计

核心设计原则是：提示词必须显式写出要评测的维度关键词，模型才会被判定为该维度的有效样本，否则该维度不计入评测——例如只有提示词明确写出「三分法构图」，生成视频才会被用于评测构图维度。基于此原则，团队用大语言模型辅助构造了1,016条提示词（美学质量200条、美学标签220条、生成质量596条），并额外提供508条与127条的轻量子集，支持单维度到最多5维度组合的灵活评测。

人工标注协议：平均打分与多数投票

标注采用「专家主导 + 众包辅助」两阶段范式：专家先给出标注范例，众包团队跟随完成剩余数据标注，专家再做批次抽检、整批打回重标以保证一致性。美学质量维度每个子维度在0–10分区间由3名标注员独立打分，取平均作为最终分：

$$s_d=\frac{1}{3}\sum_{k=1}^{3} r_d^{(k)},\qquad s_d\in[0,10]$$

美学标签作为多标签分类任务，同样由3人独立标注，采用多数投票规则，至少2人认同的标签才被保留：

$$y_j=\mathbb{1}\!\left[\sum_{k=1}^{3}\mathbb{1}[a_j^{(k)}=1]\geq 2\right]$$

生成质量维度则设计了带序数含义的结构化选项（如「-1无效问题、1完全不符、2部分符合、3完全符合」），同样用多数投票确定最终等级，「无效问题」选项用于剔除提示词本身与维度不匹配的样本，避免标注员对未提及属性做主观臆测。

三个专用多任务评估网络的两阶段训练

VAQA-Net 与 VTag-Net 先用 VADB 数据集第一阶段预训练的视频编码器及真实视频打分/打标参数做初始化，继承专业影视摄影的美学理解，再在1,300条12模型生成视频（含人工标注）上微调，在400条留出生成视频上评测；美学五分类准确率把0–10分离散为5档后计算：

$$\mathrm{Acc}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{1}[\hat{y}_i=y_i]$$

VGQA-Net 则完全聚焦生成视频，为验证其跨模型泛化能力，选取跨三个年代的6个代表模型（HunyuanVideo、LTXVideo、Mochi、Latte-1、CogVideoX、Show-1）共1.2万条视频，用其中3个模型的数据训练、另外3个模型的数据测试，确保训练与测试在模型来源上完全不重叠——这是刻意设计的「为什么」：只有验证了对训练中未见过的生成模型的泛化能力，自动评估网络才能被信任用于评测未来新出现的模型。

榜单聚合与用户研究对齐

对12个按发布时间排序的主流模型（SVD到Sora2），用训练好的三网络在所有生成视频的留出集上打分，再对每个大维度下的全部子维度做归一化与平均，得到美学得分、标签分类准确率、生成质量等级三项汇总指标用于排名。为验证自动化排名是否可信，团队另外开展了40份用户问卷的排序研究，并用标准 Recall@K 衡量模型排名与人类排名的重合度：

$$\mathrm{Recall@K}=\frac{|\mathrm{TopK}_{\text{human}}\cap \mathrm{TopK}_{\text{model}}|}{K}$$

结果显示生成质量维度的人机排序一致性（Recall@5=0.83）明显高于美学维度（Recall@5=0.80），说明「美不美」比「像不像」更难被自动化模型稳定捕捉，这也是论文承认的一个局限方向。

小结

VGA-Bench 的关键不是又造了一个更大的测试集，而是把「美学」从一个模糊的整体分数拆成可定义、可标注、可训练的子维度体系，并用专门训练的评估网络取代了对外部通用打分模型的依赖，从而让「生成视频美不美」第一次变得可量化、可追责到具体维度。

VAQA-Net/VTag-Net在1,300条生成视频上微调、400条留出视频评测；VGQA-Net在6个代表模型共1.2万条视频上做跨模型泛化测试（3训练/3测试）。再用三网络对12个模型评测并开展40份用户问卷。结论：三网络准确率普遍70%~90%，生成质量维度人机一致性高于美学维度。

关键数据

VGA-Bench 是继 V-Bench 之后把「美学质量」从单一标量拆解为可解释、可标注子维度体系的系统性尝试，并首次为视频美学与生成质量训练专用神经评估网络而非复用图像类外部模型。它为后续文生视频模型的美学可控生成、内容审核与模型调优提供了细粒度、可复现的评测基础设施。

局限与不足

论文中生成质量维度采用离散序数选项而非连续打分，粒度仍受限于预设选项数量；美学维度自动评测与人类排序的一致性（Recall@5=0.80）明显低于生成质量维度（0.83），说明当前的 VAQA-Net 对「美不美」这类更主观、更依赖文化背景的判断仍有较大偏差；VGQA-Net 的跨模型泛化实验只覆盖了6个代表性模型且训练/测试集划分比例较小（3训练/3测试），对更大规模新模型的泛化能力尚待验证；此外用户研究样本量有限（仅40份问卷、每次只对比12个模型中的部分提示词），其结论的统计稳健性有限；标注体系高度依赖专家经验与VADB的既有美学标准，对非西方影视美学传统或新兴风格的覆盖程度论文未做讨论。