ComfyUI-AniPortrait——数字人插件

仓库地址:++GitHub - chaojie/ComfyUI-AniPortrait++

往期学习资料

整理AI学习资料库

需要的模型如下

工作流如下:

首先把上面的sd-vae-ft-mse、wav2vec2-base-960h模型放到下面的目录,如下

其他模型放到哪里都行,反正是自定义模型路径的,如下

或者你全部模型都放到下面的pretrained_model目录下面也是可以的,反正指定模型路径的时候是手动设置的,放在哪里都可以。

到时我就指定这些模型的路径分别如下:

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\stable-diffusion-v1-5

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\sd-vae-ft-mse

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\sd-image-variations-diffusers\image_encoder

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\wav2vec2-base-960h

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/audio2mesh.pt

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/motion_module.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/denoising_unet.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/reference_unet.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/pose_guider.pth

然后设置视频路径,如下

然后设置音频文件路径,如下

或者你直接设置为视频的路径也是可以的,如下

然后上传图片,如下

然后下面的模型位置也改改,如下

我本地改为如下:

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\wav2vec2-base-960h

这样就行了,看看生成的视频怎样的,如下

我们打开看看,如下

效果就是生成的视频人物是我们上传的图片,视频里面人物说的话就是我们上传的音频,也就是它生成的视频是有声音的,是对口型的,然后视频里面的人物动作是根据我们上传的视频里面的人物决定的,也就是下面的视频,如下

其实下面这种视频也可以,如下

也就是openpose预处理后的视频,如上

然后视频的长度也是根据上传的视频决定的。

你可以上传动漫图片,然后上传的视频是写实类型的视频,如下

上传了一张18号图片,视频上传的是一个蓝头发女生唱歌的视频,那么生成的视频效果就是18号在唱歌,而且动作表情啥的跟蓝头发女生是一致的。

更多好玩且实用AIGC技术

星球号:32767063

往期学习资料

整理AI学习资料库

相关推荐
平头哥~20 小时前
《从酒头到杯沿:精酿小酒馆数字人的 T0–T4 五帧链路》
数字人
全栈探索者1 天前
从素材到成片:ffmpeg 拼接、转码与字幕,一条流水线交付
macos·ffmpeg·aigc·comfyui·视频剪辑
福大大架构师每日一题1 天前
ComfyUI v0.43.0发布:MOSS-Image、Fibo 2.0、Qwen 3.x、动态显存缓存与海量合作节点全面升级
comfyui
wx_xkq12882 天前
优秘智能灵秘:数字分身内容的输入、制作与审核怎样衔接
人工智能·数字人·优秘智能·数字分身·品牌内容·灵秘
又过二十2 天前
Qwen-Image2.1游戏素材工坊:让角色真的走起来(三)
ai·aigc·comfyui·game·qwen-image
平头哥技术团队3 天前
《G1234 一路正点:出行管家阿程的端到端链路巡检手记》
数字人·具身智能
:mnong3 天前
本地 8G 显卡实测:Wan2.2 与 MiniMax-H3 的 I2V / T2V 能力边界对比
ai视频·minimax-h3·wan2.2
平头哥技术团队3 天前
从预订问到退房:一间山野民宿的数字人「旅程地图」——Theme07_Homestay.vue 端到端拆解
状态模式·数字人
全栈探索者3 天前
一枚 162MB 的挂件,改写一只猫的画风:LoRA 实战——风格定制与人脸保持
人工智能·macos·lora·aigc·stablediffusion·comfyui
Maynor9963 天前
AI 表情包/热梗视频工具怎么选:RemixMeme 对比通用 AI 视频|remixmeme.com
人工智能·ai·短视频·tiktok·ai视频·表情包·remixmeme