浙大|腾讯|华为 提出定制化视频生成框架VideoMaker,可通过参考图实现Zero-shot定制化视频生成。

浙大联合腾讯和华为提出了一种新的定制化视频生成框架------VideoMaker,利用VDM的内在能力,实现高质量的zero-shot定制化视频生成。该方法通过直接输入参考图像到VDM中,利用其固有的特征提取和注入机制,克服了以往方法在特征一致性和多样性方面的不足。通过对人类和物体视频生成的实验验证了该框架的有效性。

相关链接

论文介绍

零样本定制视频生成因其巨大的应用潜力而备受关注。现有方法依赖于附加模型来提取和注入参考主体特征,认为单靠视频扩散模型 (VDM) 不足以生成零样本定制视频。然而,由于特征提取和注入技术不够完善,这些方法往往难以保持一致的主体外观。论文揭示了 VDM 本身具有提取和注入主体特征的能力。与以前的启发式方法不同,论文引入了一个新框架,利用 VDM 的固有能力来实现高质量的零样本定制视频生成。

具体而言,对于特征提取直接将参考图像输入 VDM 并使用其固有的特征提取过程,这不仅提供了细粒度的特征,而且与 VDM 的预训练知识显著一致。对于特征注入通过 VDM 中的空间自注意力设计了一种创新的主体特征与生成内容之间的双向交互,确保 VDM 具有更好的主体保真度,同时保持生成视频的多样性。对定制人物和物体视频生成的实验验证了该框架的有效性。

方法

VideoMaker 的整体流程。 将参考图像直接输入到 VDM 中,并使用 VDM 的模块进行细粒度的特征提取。论文修改了空间自注意力的计算以实现特征注入。此外,为了区分参考特征和生成内容,论文设计了指导信息识别损失来优化训练策略。该方法基于AnimateDiff实现了高保真零镜头定制人物和物体视频生成。

VideoMaker的两个关键步骤:

  • 特征提取:直接将无噪声的参考图像输入VDM,视作时间步t=0的特殊情况,VDM能够有效提取出细粒度的主观特征。使用VDM的Resblock结构作为特征提取器,提取与参考图像对应的特征,确保提取的特征与VDM的知识高度一致。

  • 特征注入:通过VDM的空间自注意力机制,将提取的主观特征与生成内容进行交互,确保生成视频中主观对象的外观一致性。设计了一种创新的训练策略,利用引导信息识别损失,引导模型有效区分参考信息和生成内容,从而提高生成质量。

结果

定制名人视频生成结果

名人定制人体视频生成的定性比较。我们选择 AnimateDiff SD1.5 版本作为基础视频传播模型。由于 PhotoMaker 仅对 SDXL 进行了预训练权重,因此我们使用分辨率为 512×512 的 AnimateDiff SDXL 生成的结果进行比较。

定制非名人视频生成结果

对非名人定制人体视频生成的定性比较。我们选择 AnimateDiff SD1.5 版本作为我们的基础视频传播模型。由于 PhotoMaker 仅对 SDXL 进行了预训练权重,因此我们使用分辨率为 512×512 的 AnimateDiff SDXL 生成的结果进行比较。

定制对象视频生成。

定制对象视频生成的定性比较

参考

1\] Ye H, Zhang J, Liu S, et al. IP-adapter: Text compatible image prompt adapter for text-to-image diffusion models\[J\]. arXiv preprint arXiv:2308.06721, 2023. \[2\] He X, Liu Q, Qian S, et al. ID-Animator: Zero-shot identity-preserving human video generation\[J\]. arXiv preprint arXiv:2404.15275, 2024. \[3\] Li Z, Cao M, Wang X, et al. PhotoMaker: Customizing realistic human photos via stacked id embedding\[C\]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 8640-8650. \[4\] Jiang Y, Wu T, Yang S, et al. Videobooth: Diffusion-based video generation with image prompts\[C\]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 6689-6700.

相关推荐
小李独爱秋4 分钟前
机器学习开发全流程详解:从数据到部署的完整指南
人工智能·机器学习
Dovis(誓平步青云)7 分钟前
深挖 DeepSeek 隐藏玩法·智能炼金术2.0版本
人工智能·深度学习·机器学习·数据挖掘·服务发现·智慧城市
陈明勇9 分钟前
一文掌握 MCP 上下文协议:从理论到实践
人工智能·后端·mcp
zskj_zhyl11 分钟前
智绅科技全场景智慧养老系统:助力老年人畅享幸福晚年
人工智能·科技
Lx35214 分钟前
区块链+AI:智能合约的自动化审计革命
人工智能
weixin_3875456418 分钟前
探索 GitHub Copilot:当 AI 成为你的贴身编码助手
人工智能·github·copilot
zidea18 分钟前
我和我的 AI Agent(1) 异步优先、结构化输出以及如何处理依赖
人工智能·python·trae
ZTLJQ20 分钟前
基于机器学习的三国时期诸葛亮北伐失败因素量化分析
人工智能·算法·机器学习
Yeauty20 分钟前
Rust 中的高效视频处理:利用硬件加速应对高分辨率视频
开发语言·rust·ffmpeg·音视频·音频·视频
几米哥41 分钟前
OpenManus进阶指南:如何配置DeepSeek模型和百度搜索提升中文体验
开源·aigc·deepseek