浙大|腾讯|华为 提出定制化视频生成框架VideoMaker,可通过参考图实现Zero-shot定制化视频生成。

浙大联合腾讯和华为提出了一种新的定制化视频生成框架------VideoMaker,利用VDM的内在能力,实现高质量的zero-shot定制化视频生成。该方法通过直接输入参考图像到VDM中,利用其固有的特征提取和注入机制,克服了以往方法在特征一致性和多样性方面的不足。通过对人类和物体视频生成的实验验证了该框架的有效性。

相关链接

论文介绍

零样本定制视频生成因其巨大的应用潜力而备受关注。现有方法依赖于附加模型来提取和注入参考主体特征,认为单靠视频扩散模型 (VDM) 不足以生成零样本定制视频。然而,由于特征提取和注入技术不够完善,这些方法往往难以保持一致的主体外观。论文揭示了 VDM 本身具有提取和注入主体特征的能力。与以前的启发式方法不同,论文引入了一个新框架,利用 VDM 的固有能力来实现高质量的零样本定制视频生成。

具体而言,对于特征提取直接将参考图像输入 VDM 并使用其固有的特征提取过程,这不仅提供了细粒度的特征,而且与 VDM 的预训练知识显著一致。对于特征注入通过 VDM 中的空间自注意力设计了一种创新的主体特征与生成内容之间的双向交互,确保 VDM 具有更好的主体保真度,同时保持生成视频的多样性。对定制人物和物体视频生成的实验验证了该框架的有效性。

方法

VideoMaker 的整体流程。 将参考图像直接输入到 VDM 中,并使用 VDM 的模块进行细粒度的特征提取。论文修改了空间自注意力的计算以实现特征注入。此外,为了区分参考特征和生成内容,论文设计了指导信息识别损失来优化训练策略。该方法基于AnimateDiff实现了高保真零镜头定制人物和物体视频生成。

VideoMaker的两个关键步骤:

  • 特征提取:直接将无噪声的参考图像输入VDM,视作时间步t=0的特殊情况,VDM能够有效提取出细粒度的主观特征。使用VDM的Resblock结构作为特征提取器,提取与参考图像对应的特征,确保提取的特征与VDM的知识高度一致。

  • 特征注入:通过VDM的空间自注意力机制,将提取的主观特征与生成内容进行交互,确保生成视频中主观对象的外观一致性。设计了一种创新的训练策略,利用引导信息识别损失,引导模型有效区分参考信息和生成内容,从而提高生成质量。

结果

定制名人视频生成结果

名人定制人体视频生成的定性比较。我们选择 AnimateDiff SD1.5 版本作为基础视频传播模型。由于 PhotoMaker 仅对 SDXL 进行了预训练权重,因此我们使用分辨率为 512×512 的 AnimateDiff SDXL 生成的结果进行比较。

定制非名人视频生成结果

对非名人定制人体视频生成的定性比较。我们选择 AnimateDiff SD1.5 版本作为我们的基础视频传播模型。由于 PhotoMaker 仅对 SDXL 进行了预训练权重,因此我们使用分辨率为 512×512 的 AnimateDiff SDXL 生成的结果进行比较。

定制对象视频生成。

定制对象视频生成的定性比较

参考

1\] Ye H, Zhang J, Liu S, et al. IP-adapter: Text compatible image prompt adapter for text-to-image diffusion models\[J\]. arXiv preprint arXiv:2308.06721, 2023. \[2\] He X, Liu Q, Qian S, et al. ID-Animator: Zero-shot identity-preserving human video generation\[J\]. arXiv preprint arXiv:2404.15275, 2024. \[3\] Li Z, Cao M, Wang X, et al. PhotoMaker: Customizing realistic human photos via stacked id embedding\[C\]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 8640-8650. \[4\] Jiang Y, Wu T, Yang S, et al. Videobooth: Diffusion-based video generation with image prompts\[C\]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 6689-6700.

相关推荐
小哥谈10 分钟前
论文解析篇 | YOLOv12:以注意力机制为核心的实时目标检测算法
人工智能·深度学习·yolo·目标检测·机器学习·计算机视觉
mit6.82415 分钟前
[Meetily后端框架] AI摘要结构化 | `SummaryResponse`模型 | Pydantic库 | vs marshmallow库
c++·人工智能·后端
小宋00121 分钟前
在Ubuntu上安装配置 LLaMA-Factory
ubuntu·计算机视觉
阿里云大数据AI技术23 分钟前
Post-Training on PAI (3): 自研高性能强化学习框架PAI-ChatLearn
人工智能·开源·强化学习
二二孚日26 分钟前
自用华为ICT云赛道AI第三章知识点-MindSpore特性、MindSpore开发组件
人工智能·华为
水龙吟啸26 分钟前
从零开始搭建深度学习大厦系列-2.卷积神经网络基础(5-9)
人工智能·pytorch·深度学习·cnn·mxnet
小兔子酱#36 分钟前
音频 SDP 文件格式
音视频
杰夫贾维斯37 分钟前
CentOS Linux 8 的系统部署 Qwen2.5-7B -Instruct-AWQ
linux·运维·人工智能·机器学习·centos
m0_7033236737 分钟前
SEO外包服务甄选指南:避开陷阱,精准匹配
大数据·人工智能
金智维科技44 分钟前
多系统、跨流程、高重复?看烟草企业如何用数字员工撬动运营变革
人工智能