浙大联合腾讯和华为提出了一种新的定制化视频生成框架------VideoMaker，利用VDM的内在能力，实现高质量的zero-shot定制化视频生成。该方法通过直接输入参考图像到VDM中，利用其固有的特征提取和注入机制，克服了以往方法在特征一致性和多样性方面的不足。通过对人类和物体视频生成的实验验证了该框架的有效性。
相关链接
论文介绍
零样本定制视频生成因其巨大的应用潜力而备受关注。现有方法依赖于附加模型来提取和注入参考主体特征，认为单靠视频扩散模型 (VDM) 不足以生成零样本定制视频。然而，由于特征提取和注入技术不够完善，这些方法往往难以保持一致的主体外观。论文揭示了 VDM 本身具有提取和注入主体特征的能力。与以前的启发式方法不同，论文引入了一个新框架，利用 VDM 的固有能力来实现高质量的零样本定制视频生成。
具体而言，对于特征提取直接将参考图像输入 VDM 并使用其固有的特征提取过程，这不仅提供了细粒度的特征，而且与 VDM 的预训练知识显著一致。对于特征注入通过 VDM 中的空间自注意力设计了一种创新的主体特征与生成内容之间的双向交互，确保 VDM 具有更好的主体保真度，同时保持生成视频的多样性。对定制人物和物体视频生成的实验验证了该框架的有效性。
方法
VideoMaker 的整体流程。 将参考图像直接输入到 VDM 中，并使用 VDM 的模块进行细粒度的特征提取。论文修改了空间自注意力的计算以实现特征注入。此外，为了区分参考特征和生成内容，论文设计了指导信息识别损失来优化训练策略。该方法基于AnimateDiff实现了高保真零镜头定制人物和物体视频生成。
VideoMaker的两个关键步骤：
-
特征提取：直接将无噪声的参考图像输入VDM，视作时间步t=0的特殊情况，VDM能够有效提取出细粒度的主观特征。使用VDM的Resblock结构作为特征提取器，提取与参考图像对应的特征，确保提取的特征与VDM的知识高度一致。
-
特征注入：通过VDM的空间自注意力机制，将提取的主观特征与生成内容进行交互，确保生成视频中主观对象的外观一致性。设计了一种创新的训练策略，利用引导信息识别损失，引导模型有效区分参考信息和生成内容，从而提高生成质量。
结果
定制名人视频生成结果
名人定制人体视频生成的定性比较。我们选择 AnimateDiff SD1.5 版本作为基础视频传播模型。由于 PhotoMaker 仅对 SDXL 进行了预训练权重，因此我们使用分辨率为 512×512 的 AnimateDiff SDXL 生成的结果进行比较。
定制非名人视频生成结果
对非名人定制人体视频生成的定性比较。我们选择 AnimateDiff SD1.5 版本作为我们的基础视频传播模型。由于 PhotoMaker 仅对 SDXL 进行了预训练权重，因此我们使用分辨率为 512×512 的 AnimateDiff SDXL 生成的结果进行比较。
定制对象视频生成。
定制对象视频生成的定性比较
参考
[1] Ye H, Zhang J, Liu S, et al. IP-adapter: Text compatible image prompt adapter for text-to-image diffusion models[J]. arXiv preprint arXiv:2308.06721, 2023.
[2] He X, Liu Q, Qian S, et al. ID-Animator: Zero-shot identity-preserving human video generation[J]. arXiv preprint arXiv:2404.15275, 2024.
[3] Li Z, Cao M, Wang X, et al. PhotoMaker: Customizing realistic human photos via stacked id embedding[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 8640-8650.
[4] Jiang Y, Wu T, Yang S, et al. Videobooth: Diffusion-based video generation with image prompts[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 6689-6700.