ComfyUI-AniPortrait——数字人插件

仓库地址:++GitHub - chaojie/ComfyUI-AniPortrait++

往期学习资料

整理AI学习资料库

需要的模型如下

工作流如下:

首先把上面的sd-vae-ft-mse、wav2vec2-base-960h模型放到下面的目录,如下

其他模型放到哪里都行,反正是自定义模型路径的,如下

或者你全部模型都放到下面的pretrained_model目录下面也是可以的,反正指定模型路径的时候是手动设置的,放在哪里都可以。

到时我就指定这些模型的路径分别如下:

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\stable-diffusion-v1-5

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\sd-vae-ft-mse

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\sd-image-variations-diffusers\image_encoder

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\wav2vec2-base-960h

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/audio2mesh.pt

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/motion_module.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/denoising_unet.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/reference_unet.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/pose_guider.pth

然后设置视频路径,如下

然后设置音频文件路径,如下

或者你直接设置为视频的路径也是可以的,如下

然后上传图片,如下

然后下面的模型位置也改改,如下

我本地改为如下:

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\wav2vec2-base-960h

这样就行了,看看生成的视频怎样的,如下

我们打开看看,如下

效果就是生成的视频人物是我们上传的图片,视频里面人物说的话就是我们上传的音频,也就是它生成的视频是有声音的,是对口型的,然后视频里面的人物动作是根据我们上传的视频里面的人物决定的,也就是下面的视频,如下

其实下面这种视频也可以,如下

也就是openpose预处理后的视频,如上

然后视频的长度也是根据上传的视频决定的。

你可以上传动漫图片,然后上传的视频是写实类型的视频,如下

上传了一张18号图片,视频上传的是一个蓝头发女生唱歌的视频,那么生成的视频效果就是18号在唱歌,而且动作表情啥的跟蓝头发女生是一致的。

更多好玩且实用AIGC技术

星球号:32767063

往期学习资料

整理AI学习资料库

相关推荐
sculida3 天前
秋叶sd-webui频繁出现生成后无反应的问题
stable diffusion
龙萱坤诺5 天前
开发者如何集成AI绘画?智创聚合API简化Midjourney接入
ai作画·midjourney·ai绘画
易知微EasyV数据可视化5 天前
EasyMan 数字人服务全面焕新,交互型AI数字人助推孪生体验全新升级
人工智能·交互·数字孪生·数字人
HORSE RUNNING WILD6 天前
【物理与机器学习】从非平衡热力学到扩散模型
人工智能·学习·机器学习·stable diffusion
取不好名字=7 天前
【ComfyUI学习笔记01】下载安装 | 运行第一个工作流 | 学习思路
笔记·学习·ai作画·stable diffusion
雨稚14 天前
comfyUI-ControlNet-姿势控制&深度控制
sd·comfyui·contrlnet
qq_3988989319 天前
【简单三步】Stable diffusion Webai本地部署无法加载模型并报openai/clip-vit-large-patch14错误的解决方法
stable diffusion
ai_xiaogui19 天前
AIStarter用户与创作者模式详解:一键管理Stable Diffusion项目!
人工智能·stable diffusion·一键发布ai项目·熊哥aistarter教程·开发者必备aistarter
一禅(OneZen)19 天前
「Windows/Mac OS」AIGC图片生成视频 ,webui + stable-diffusion环境部署教程
windows·stable diffusion
ai_xiaogui22 天前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装