OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet DataOmniDance：基于大规模互联网数据的多模态驱动舞蹈视频生成

音乐驱动的舞蹈视频生成长期受限于数据和方法两方面：既缺少大规模高质量数据集，也缺少把音乐这种视频生成基础模型训练时从未见过的条件信号系统性注入现有文生视频骨干的框架级方案。本文从两端同时下手：一方面通过渐进式专家过滤与编舞信息标注构建30万片段、400余小时的CIPE-Dance数据集；另一方面提出OmniDance，在WAN2.2-TI2V-5B骨干上以深度感知方式逐层注入音乐条件，配合由易到难的课程训练和模态专精化推理引导，在不损原有可控性与画质的前提下统一实现文本、音乐及二者组合驱动的舞蹈视频生成。

此前音乐驱动舞蹈生成大致分三条路线：先从音乐预测2D关键点再驱动图像动画，受限于遮挡和复杂全身位移；先推断3D SMPL参数再渲染，因标注成本高、数据规模小（最大公开数据集FineDance仅约8小时）而难泛化；端到端扩散方案则较少利用大规模视频基础模型，画质与动作表现力均不足。相关领域的说话人头部生成、姿态驱动动画也各有局限，未建模音频与全身动作的对应关系或忽视音乐对编舞的主导作用。

关键贡献

• 构建CIPE-Dance数据集：通过六阶段渐进式专家过滤流水线从抖音/TikTok上约500位头部舞者的视频中筛选出30万条高质量片段，并配以编舞信息文本标注。
• 提出音乐-文本渐进专精化架构，用深度相关的残差缩放让DiT浅层侧重文本语义、深层逐渐强化音乐驱动的节奏细节。
• 设计由易到难的三阶段课程训练策略，先做文本适配预热，再锚定式引入音乐分支，最后解耦并专精化音乐条件，避免破坏预训练骨干原有能力。
• 提出模态专精化的时间相关无分类器引导策略，让文本引导在早期采样步主导、音乐引导在后期步逐渐增强。
• 在统一框架内同时支持TI2V、MI2V、MTI2V三种生成任务的无缝切换，无需为每种模态单独训练或维护生成器。
• 在CIPE-Dance上的大量实验证明OmniDance在三类任务上均取得当时最优表现，且具备稳健的多模态融合能力。

总体思路

OmniDance 的目标是把音乐这一此前从未参与视频生成基础模型训练的条件信号，无损地注入一个已经具备强文本/图像可控生成能力的 TI2V 骨干（WAN2.2-TI2V-5B）。整体流程分三层协同设计：架构上给每个 DiT block 加一条音乐交叉注意力支路，并用深度相关的残差权重让浅层偏文本、深层偏音乐；训练上采用由易到难的三阶段课程，先只学文本适配，再锚定式引入音乐，最后解耦专精化；推理上用模态专精化的无分类器引导，让文本引导随采样步衰减、音乐引导随之增强。三者配合使模型能在 TI2V、MI2V（音乐+图像）、MTI2V（音乐+文本+图像）三种任务间无缝切换。

Flow Matching 骨干与训练目标

OmniDance 建立在 WAN2.2-TI2V-5B 之上，该模型以流匹配（Flow Matching）范式训练：给定原始潜变量 $\mathbf{x}_0$ 与高斯噪声 $\epsilon\sim\mathcal{N}(0,\mathbf{I})$，定义线性最优传输路径与对应速度场：

$$\mathbf{x}_t = (1-t)\cdot\mathbf{x}_0 + t\cdot\epsilon,\qquad \mathbf{v}_t = \epsilon - \mathbf{x}_0$$

速度场预测器 $\mathbf{v}_\theta$（即 WAN2.2-TI2V-5B 本身）以均方误差为目标训练：

$$\mathcal{L}_{\text{fm}} = \mathbb{E}_{\mathbf{x}_0,\epsilon,t}\left[\left\|\mathbf{v}_\theta - \mathbf{v}_t\right\|_2^2\right]$$

骨干自带的时空 VAE 在 $(t,h,w)$ 三个维度上以 $(4,16,16)$ 的比例压缩，相比更低压缩比的配置在同分辨率下节省约 4 倍计算量，这是 OmniDance 能在有限算力下训练舞蹈专用模型的前提。

音乐-文本渐进专精化架构

DiT 类模型天然存在由浅到深的粗到细学习层级：浅层捕捉高层、低频的全局结构，深层逐步精炼低层、高频的细节。音乐主要支配舞蹈的节奏、速度、能量变化等高频时序结构，文本则给出风格、编舞意图等全局语义；如果不加区分地把两种条件同时灌入所有层，二者会相互竞争而非互补。为此，作者给每个 DiT block（层 $\ell\in\{1,\dots,L\}$）新增一条音乐交叉注意力支路，并用深度相关的幂函数缩放其残差贡献：

$$\mathbf{x}_\ell \leftarrow \mathbf{x}_\ell + \left(\frac{\ell}{L}\right)^{\gamma}\cdot \mathbf{r}_{\text{audio}}^\ell$$

其中 $\gamma=1.5$（实验取值）。当 $\ell \ll L$ 时权重接近 0，文本条件主导、确立整体动作布局；当 $\ell \to L$ 时权重增大，音乐条件逐渐主导，精炼节奏对齐与局部动作细节。这个设计的直觉是：与其让两种异质信号在同一层竞争同一份表征容量，不如按照它们各自擅长的频段，把它们分配到网络深度轴上的不同区间，从结构上避免相互干扰。

由易到难的课程训练策略

开源视频生成基础模型大多只针对 TI2V 任务预训练，完全没有见过音频监督信号，若直接联合训练三种任务容易破坏骨干原有能力。OmniDance 因此设计三阶段课程：第一阶段只训练 TI2V、音乐分支冻结，让模型先适应舞蹈领域的文本描述，稳定语义对齐；第二阶段引入音乐分支，联合训练 TI2V 与 MTI2V，并对音乐残差投影做零初始化、对新参数用线性学习率热身，在文本引导下渐进学习音乐-动作对应关系；第三阶段解冻全部参数，联合训练 TI2V、MTI2V、MI2V 三个任务，促使模型在文本缺失时也能仅凭音乐生成合理舞蹈动作，减少对文本线索的过度依赖。消融实验证实跳过第一阶段会让画质与对齐同时大幅下降，跳过第二阶段虽然节拍对齐分数不降反升，却会显著损害画质与文本一致性，说明分阶段引入音乐是稳定训练的关键，而不是可以省略的工程细节。

模态专精化的无分类器引导

流匹配采样中，早期时间步（$\tau\to0$）主要塑造粗粒度的全局结构，后期时间步（$\tau\to1$）精炼高频细节；这恰好与文本（全局语义）、音乐（局部节奏线索）的分工相呼应。OmniDance 据此设计随时间步变化的分类器无关引导（CFG），以 MTI2V 为例：

$$\mathbf{v}_\theta^{\text{MTI2V}}(x_\tau) = \mathbf{v}_\theta(x_\tau,\varnothing,\varnothing) + \lambda_t(\tau)\Big(\mathbf{v}_\theta(x_\tau,\text{text},\varnothing)-\mathbf{v}_\theta(x_\tau,\varnothing,\varnothing)\Big) + \lambda_m(\tau)\Big(\mathbf{v}_\theta(x_\tau,\text{text},\text{music})-\mathbf{v}_\theta(x_\tau,\text{text},\varnothing)\Big)$$

TI2V 与 MI2V 场景对应地只保留各自的文本项或音乐项。引导强度 $\lambda_t(\tau)$ 从 5 衰减到 1、$\lambda_m(\tau)$ 从 4 降到 2，由于文本引导衰减更快，采样轨迹整体呈现「早期文本主导、后期音乐主导」的过渡，与训练阶段学到的深度分工在时间轴上形成呼应。

长序列生成

为了生成超过单次采样窗口长度的舞蹈视频，OmniDance 沿用 WAN 系列的自回归滑窗方案：把当前片段的最后一帧作为下一个窗口的参考起始帧，通过迭代拼接短片段的方式实现长序列合成，代价是无法做到真正的实时生成。

小结

OmniDance 的关键不在于某个单点技巧，而在于把「文本管全局语义、音乐管局部节奏」这一先验，一致地贯彻到架构的深度轴（渐进专精化）、训练的时间轴（由易到难课程）与推理的采样轴（模态专精化CFG）三个层面，从而在不牺牲预训练 TI2V 能力的前提下平滑地长出音乐条件生成能力。

实验在CIPE-Dance上进行，训练77帧、704×1280分辨率视频，骨干为30层DiT的WAN2.2-TI2V-5B，三阶段课程共训练20k步，32张H20 GPU耗时约70小时。评测涵盖画质、运动FID/多样性、节拍对齐等指标，OmniDance在TI2V、MI2V单模态任务上均超基线，MTI2V整体权衡更优。

关键数据

OmniDance首次把"如何在不破坏预训练文生视频基础模型能力的前提下注入音乐条件"系统化为架构、训练、推理三级协同方案，为音乐驱动的视频级人体动作生成提供了可复用的范式；同时CIPE-Dance作为迄今最大的开源舞蹈视频数据集，也为后续舞蹈视频生成与音乐-动作对齐研究提供了数据基座。

局限与不足

论文本身在结论中承认 OmniDance 尚不支持实时生成——单条5秒视频在单张H20 GPU上仍需4.5至7.2分钟，作者认为需要结合长视频蒸馏技术才能走向高效合成。此外，方法依赖滑窗式自回归拼接实现长序列生成，跨窗口的一致性和误差累积问题未被专门讨论；音乐条件的评测主要依赖节拍对齐分数（BAS）等有限指标，对更细粒度的音乐-动作语义对应（如动作是否匹配特定音乐段落的情绪或曲式转折）缺乏针对性度量；数据集虽然规模领先，但来源集中于抖音/TikTok的头部创作者内容，对小众舞种、非头部创作者及非移动端拍摄场景的覆盖可能有限，这些因素都可能影响方法在更广泛真实场景下的泛化表现。