腾讯开源视频生成工具 HunyuanVideo-Avatar,上传一张图+一段音频,就能让图中的人物、动物甚至虚拟角色“活”过来,开口说话、唱歌、演相声!

腾讯混元团队提出的 HunyuanVideo-Avatar 是一个基于多模态扩散变换器(MM-DiT)的模型,能够生成动态、情绪可控和多角色对话视频。支持仅 10GB VRAM 的单 GPU运行,支持多种下游任务和应用。例如生成会说话的虚拟形象视频,可用于电商、在线直播、社交媒体视频制作等。此外,其多角色动画功能则拓展了视频内容创作、编辑等应用场景。

相关链接

论文介绍

HunyuanVideo-Avatar:高保真音频驱动的多角色人体动画

近年来,音频驱动的人体动画取得了显著进展。然而,在以下方面仍然存在关键挑战:

  • 生成高动态视频的同时保持角色的一致性

  • 实现角色和音频之间的精确情绪对齐

  • 实现多角色音频驱动的动画。

为了应对这些挑战,论文提出了 HunyuanVideo-Avatar,这是一个基于多模态扩散变换器 (MM-DiT) 的模型,能够同时生成动态的、情绪可控的和多角色对话的视频。具体而言,HunyuanVideo-Avatar 引入了三个关键创新:

  • 设计了一个角色图像注入模块来取代传统的基于加法的角色条件方案,消除了训练和推理之间固有的条件不匹配。这确保了动态运动和强大的角色一致性;

  • 引入了一个音频情绪模块 (AEM) 来从情绪参考图像中提取和传输情绪线索到目标生成的视频,从而实现细粒度和准确的情绪风格控制;

  • 提出了一种人脸感知音频适配器 (FAA),利用潜在级别人脸遮罩技术隔离音频驱动角色,从而能够在多角色场景中通过交叉注意力机制实现独立的音频注入。

这些创新使 HunyuanVideo-Avatar 在基准数据集和新提出的野外数据集上超越了最先进的方法,能够在动态沉浸式场景中生成逼真的虚拟角色。

方法概述

混元视频虚拟形象的框架。 它由三部分组成:(1)角色图像注入模块,确保角色在保持高动态的同时保持高度一致性;(2)音频情绪模块,将视频中角色的面部表情与音频中的情绪进行匹配;(3)人脸感知音频适配器,支持音频驱动的多角色

混元视频-头像主要特点

HunyuanVideo-Avatar 支持将任意输入的虚拟形象动画化为高动态、可控情绪的视频,并支持简单的音频条件。具体而言,它以任意比例和分辨率的多风格虚拟形象作为输入。该系统支持多种风格的虚拟形象,包括照片级写实、卡通、3D 渲染和拟人化角色。多尺度生成涵盖肖像、上半身和全身。它生成具有高动态前景和背景的视频,实现卓越的真实感和自然度。此外,该系统还支持根据输入音频控制角色的面部情绪。

要求

  • 需要支持 CUDA 的 NVIDIA GPU。

  • 该模型在具有8GPU的机器上进行测试。

  • 最低要求:704px768px129f 所需的最低 GPU 内存为 24GB,但速度非常慢。

  • 建议:建议使用具有 96GB 内存的 GPU 以获得更好的生成质量。

  • 提示:如果使用80GB内存的GPU出现OOM,请尝试降低图片分辨率。

  • 测试的操作系统:Linux

相关推荐
倒悬于世26 分钟前
开源的语音合成大模型-Cosyvoice使用介绍
人工智能·python·语音识别
pk_xz1234561 小时前
光电二极管探测器电流信号处理与指令输出系统
人工智能·深度学习·数学建模·数据挖掘·信号处理·超分辨率重建
蓝蜂物联网1 小时前
边缘计算网关赋能智慧农业:物联网边缘计算的创新应用与实践
人工智能·物联网·边缘计算
酌沧1 小时前
AI图像编辑能力评测的8大测评集
人工智能
tanak2 小时前
2025年7月23日 AI 今日头条
人工智能·microsoft
爷_2 小时前
字节跳动震撼开源Coze平台!手把手教你本地搭建AI智能体开发环境
前端·人工智能·后端
格林威2 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现持械检测(C#代码,UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
FIT2CLOUD飞致云2 小时前
七月月报丨MaxKB在企业环境中实现AI落地的具体场景盘点
人工智能·开源·deepseek
叫我:松哥3 小时前
基于网络爬虫的在线医疗咨询数据爬取与医疗服务分析系统,技术采用django+朴素贝叶斯算法+boostrap+echart可视化
人工智能·爬虫·python·算法·django·数据可视化·朴素贝叶斯
大咖分享课4 小时前
多租户系统中的安全隔离机制设计
人工智能·安全·安全隔离