MagicMotion：基于密到疏轨迹引导的可控视频生成 · MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

原文摘要 · English Abstract

Recent advances in video generation have led to remarkable improvements in visual quality and temporal coherence. Upon this, trajectory-controllable video generation has emerged to enable precise object motion control through explicitly defined spatial paths. However, existing methods struggle with complex object movements and multi-object motion control, resulting in imprecise trajectory adherence, poor object consistency, and compromised visual quality. Furthermore, these methods only support trajectory control in a single format, limiting their applicability in diverse scenarios. Additionally, there is no publicly available dataset or benchmark specifically tailored for trajectory-controllable video generation, hindering robust training and systematic evaluation. To address these challenges, we introduce MagicMotion, a novel image-to-video generation framework that enables trajectory control through three levels of conditions from dense to sparse: masks, bounding boxes, and sparse boxes. Given an input image and trajectories, MagicMotion seamlessly animates objects along defined trajectories while maintaining object consistency and visual quality. Furthermore, we present MagicData, a large-scale trajectory-controlled video dataset, along with an automated pipeline for annotation and filtering. We also introduce MagicBench, a comprehensive benchmark that assesses both video quality and trajectory control accuracy across different numbers of objects. Extensive experiments demonstrate that MagicMotion outperforms previous methods across various metrics.

概要

现有轨迹可控视频生成方法每种只支持单一控制信号：稀疏信号（点、光流）难以精确控制物体形状大小，稠密信号（掩码、3D轨迹）又对用户不友好；同时业界缺乏公开的大规模轨迹标注数据集和统一评测基准。MagicMotion 用一套 ControlNet 式架构，通过掩码、边界框、稀疏框三级由密到疏的条件统一支持不同精细度的轨迹控制，并配合渐进式训练与隐空间分割损失提升稀疏条件下的形状感知能力，同时发布了配套数据集 MagicData 与评测基准 MagicBench。

此前的轨迹可控视频生成方法按控制信号可分为点、光流、边界框、掩码、3D轨迹五类，但每种方法只支持一种信号格式：稀疏轨迹（点、光流）用户容易提供，却无法精确约束物体的形状与大小；稠密轨迹（掩码、3D轨迹）控制精确，但标注成本高、用户难以直接给出。此外，已有的 VOS 数据集普遍存在视频短、规模小或前景物体少的问题，且各类方法多用私有数据评测，缺乏统一、公开、按物体数量分层的基准，难以公平比较不同方法在多物体场景下的表现。

关键贡献

提出 MagicMotion，一个支持掩码、边界框、稀疏框三级轨迹条件的图生视频统一框架
设计 Trajectory ControlNet，以零卷积残差方式将轨迹信息注入预训练 DiT 视频生成模型
提出由密到疏的渐进式三阶段训练策略，让模型在稀疏条件下也能继承稠密阶段学到的形状先验
提出隐空间分割损失，用轻量分割头在隐空间预测掩码，以极低算力增强模型对物体形状的细粒度感知
构建并发布首个公开的轨迹可控视频数据集 MagicData（23K 视频）及自动化标注筛选流水线
提出大规模基准 MagicBench，按控制物体数量分 6 档同时评估视频质量与轨迹控制精度

方法详解（完整做法）

总体思路

给定一张输入图像 $I\in\mathbb{R}^{H\times W\times 3}$ 与一段逐帧轨迹图 $C\in\mathbb{R}^{T\times H\times W\times 3}$ （可以是掩码、框或稀疏框的可视化），MagicMotion 需要生成视频 $V\in\mathbb{R}^{T\times H\times W\times 3}$ ，使其中物体沿指定轨迹运动。整体流程是：基座图生视频 DiT 模型负责生成质量与时序一致性；一个与之结构对称的 Trajectory ControlNet 单独编码轨迹条件，再以零初始化卷积残差注入到基座每个 DiT block；训练上按「掩码→框→稀疏框」三阶段渐进推进，并引入隐空间分割损失，让模型在稀疏条件下依旧保留对物体精细形状的感知。

基座 I2V 模型与 Trajectory ControlNet

基座采用 CogVideoX-5B-I2V 与 Wan2.1 1.3B 两个 3D-Full Attention 的 DiT 架构，输入图像与视频先经 3D VAE 编码为潜表示 $Z_{image}, Z_{video}\in\mathbb{R}^{\frac{T}{4}\times\frac{H}{8}\times\frac{W}{8}\times 16}$ ， $Z_{image}$ 零填充到 $T$ 帧后与加噪的 $Z_{video}$ 拼接送入 DiT 逐步去噪。为注入轨迹条件，轨迹图同样经 3D VAE 编码为 $Z_{trajectory}$ ，与 $Z_{video}$ 拼接后输入 Trajectory ControlNet——一个复制自预训练 DiT block 的可训练分支，其每个 block 的输出经零初始化卷积后加回基座对应 block，这样训练初期不会扰动预训练模型的生成能力，是 ControlNet 式设计在视频 DiT 上的直接迁移。

由密到疏的渐进式训练与扩散损失

三个阶段依次使用分割掩码、边界框、稀疏边界框（少于 10 帧有框标注）作为轨迹条件，且每阶段都用上一阶段权重初始化，让模型把稠密条件下学到的形状先验带入更稀疏的条件设置，而不是从零学习。同时首帧轨迹条件恒定给出分割掩码以指明前景物体。模型采用速度预测（velocity prediction）的扩散目标，记初始视频潜变量为 $x_0$ 、高斯噪声为 $\epsilon$ 、加噪潜变量为 $x_t=\sqrt{\alpha_t}x_0+\sqrt{1-\alpha_t}\epsilon$ 、模型输出为 $v_\theta$ ：

$\mathcal{L}_{diffusion}=\mathbb{E}_{t,\epsilon\sim\mathcal{N}(0,I),x_{0}}\Big[\big\| x_0 - \big(\sqrt{\alpha_t}\,x_t - \sqrt{1-\alpha_t}\,v_\theta \big)\big\|_2^2 \Big]$

隐空间分割损失（Latent Segment Loss）

边界框只能约束物体的位置与大小，无法表达细粒度形状；若在像素空间用扩散特征做分割监督又计算量过大。为此论文用一个轻量分割头（结构受 Panoptic FPN 启发），直接从每个 DiT block 的扩散特征 $Z_{feature}\in\mathbb{R}^{\frac{T}{4}\times\frac{H}{16}\times\frac{W}{16}\times 3072}$ 出发：先卷积提取视觉特征 $P\in\mathbb{R}^{\frac{T}{4}\times\frac{H}{16}\times\frac{W}{16}\times 64}$ ，拼接多层特征后再卷积加上采样，直接在隐空间预测分割掩码 $Z_{segment}\in\mathbb{R}^{\frac{T}{4}\times\frac{H}{8}\times\frac{W}{8}\times 16}$ ，全程无需 VAE 解码，省去了像素级监督的解码开销。损失为其与真值掩码隐变量 $Z_{mask}$ 的欧氏距离：

$\mathcal L_{seg}=\mathbb{E}_{t,\epsilon\sim \mathcal{N}(0, I),z_{0}}\big[\left\| Z_{segment} - Z_{mask}\right\| _{2}^{2}\big]$

该损失仅在阶段2、3启用（此时轨迹条件已变稀疏），为模型隐式补上被省略的稠密监督信号，最终总损失为：

$\mathcal L = \mathcal L_{diffusion} + \lambda \ast \mathcal L_{seg},\qquad \lambda=0(\text{阶段1}),\ \lambda=0.5(\text{阶段2、3})$

为什么要「先稠密后稀疏」而不是直接训练稀疏条件

直接用稀疏框从零训练时，模型只能看到位置与大小信息，缺乏形状监督，容易出现物体变形、细节丢失（论文消融中出现「整头变成头发」等失败案例）。渐进式训练先在掩码这种信息量最大的条件下把「轨迹如何驱动物体运动与形状变化」学扎实，再逐步收紧到框、稀疏框，本质上是用课程学习的思路把一个难以直接优化的稀疏条件问题，分解成若干个由易到难、可复用权重的子问题；隐空间分割损失则是在训练信号层面把这种「稠密监督」显式地保留到稀疏阶段，两者配合而非互相替代。

数据构建与 MagicBench 评测协议

训练数据 MagicData 来自 396K 视频文本对的 Pexels 数据集，先用 Llama3.1 从文本描述中抽取主要运动前景物体，再用 Grounded-SAM2 生成分割掩码并据此推出边界框；随后用 UniMatch 计算整体与前景光流强度过滤静止视频（光流阈值 2.0），并限制前景物体数量为 1–3 个、标注面积占比在 0.008–0.83 之间，最终得到 23K 个 $\langle\text{视频},\text{文本},\text{轨迹}\rangle$ 三元组。MagicBench 用同一套流水线构建 600 个评测视频，按前景物体数量（1 到 5 个及 5 个以上）分为 6 档，每档 100 个视频；评测同时用 FVD/FID 衡量视频与图像质量，用 Mask_IoU、Box_IoU（对生成视频每帧预测掩码/框与真值求 IoU 再逐帧平均）衡量轨迹控制精度。

小结

MagicMotion 的关键不是某一个新模块，而是「用渐进式训练把稠密掩码的形状先验迁移到稀疏框控制、再用隐空间分割损失把这种先验显式保留在损失函数里」，配合首个公开的轨迹数据集与按物体数量分层的基准，把「一种方法只吃一种轨迹格式」的碎片化局面统一到一个密到疏的框架下。

实验与关键数据

在 MagicBench 与 DAVIS 上，与 7 个公开轨迹可控 I2V 方法比较 FID、FVD、Mask_IoU、Box_IoU：MagicMotion 全部指标最优，各物体数量档位均保持领先；消融进一步证实 MagicData、渐进式训练、隐空间分割损失均有贡献。

关键数据

MagicBench FID（Stage1-CogVideoX）

15.06

vs Tora 26.27（低15.21，越低越好）

MagicBench FVD（Stage1-CogVideoX）

112.69

vs SG-I2V 168.82（低56.13，越低越好）

DAVIS Mask_IoU（Stage1-CogVideoX）

81.33

vs DragAnything 40.13（+41.20）

DAVIS Box_IoU（Stage1-CogVideoX）

84.97

vs SG-I2V 50.96（+34.01）

MagicBench FID（有/无 MagicData 训练）

15.17

vs w/o MagicData 24.24（低9.07，越低越好）

MagicData 数据规模

23K 个〈视频,文本,轨迹〉三元组

影响与局限

MagicMotion 把此前互相割裂的点/光流/框/掩码/3D轨迹控制统一为「密到疏」的一套渐进式框架，并首次为该任务提供公开可复现的数据集与按物体数量分层的基准，为后续轨迹可控视频生成研究提供了统一的训练数据与评测标准。

局限与不足

论文正文未专设局限性小节，可从设计与实验反推：数据筛选阶段将前景物体数量限制在 1–3 个、标注面积占比限定在 0.008–0.83，意味着 MagicData 及在其上训练的模型对极多物体、极小或占满画面物体的场景覆盖有限，尽管 MagicBench 评测了 5 个以上物体的档位，但训练数据本身的物体数量分布是否充分覆盖该档并不确定。三阶段渐进式训练依赖前一阶段权重初始化，训练与数据标注链路（LLM 抽取物体、SAM2 分割、光流过滤）较长，流水线中任一环节出错（如 LLM 误判前景物体、分割不准）都会直接传导为轨迹标注噪声。此外稀疏框阶段只在少于 10 帧上提供框标注，对更极端稀疏（如仅首末帧）或点/光流这类连续但更抽象的控制信号是否同样有效，论文未给出验证。