comfyUI-ControlNet-姿势控制&深度控制

一个较免费的获取大量高质量真实人物素材的网站

发现并下载免费图片 - Pixabay

1.基础工作流

最基本的5个节点:Checkpoint、CLIP、K采样器、VAE解码、空Latent

2.加载ControlNet节点

openppse主要控制人物骨骼和面部表情。

此处同样使用到webUI中使用过的DWpose:SD-细节控制-CSDN博客

在webUI中使用效果

加载openpose类型的ControlNet模型,实现姿势的融合。

3.图像姿态处理-openpose

如果图片分辨率过高,可以取消获取原图大小节点的使用,将已经转换为输入的宽高度,重新转换为组件,自行输入数据 。

下图就是由于lz原有图片分辨率过高,导致生成图片出现异常。

使用DW姿态预处理器节点。从图像中提取人体姿态关键点(骨骼关节点)

BBox(边界框)检测中的模型为均为目标检测模型(Object Detection Models),专门用于在图像中识别并定位物体(如人体、车辆等),生成边界框(Bounding Box,简称BBox)。

文件格式后缀说明

文件后缀 运行环境 优势
.onnx 通用 (ONNX Runtime) 兼容性强,跨平台
.torchscript.pt PyTorch专属 与Torch生态无缝集成
_fp16.onnx 支持FP16的硬件 显存减半,速度提升20%

姿态预估处

建议使用dw-ll_ucoco_384_bs5.torchscript。

在更改图片分辨率,将生成图片的分辨率改为模型训练时的分辨率后,图像即能参考原图姿势实现风格的转绘。如果提示词过多。可能会导致动作参考不够准确,可以通过修改ControlNet中的强度提升生图对姿态的参考。

4.景深-depth

通过获取原始图片画面中各独立要素与照相机之间的距离关系,和openpose的节点布局一致,只需要将ControlNet加载的模型更换为depth类型的模型,同时使用Zoe深度预处理器对参考图片进行处理即可。

由于更换场景类图片并修改提示词后,生成的图片效果会比原来好很多。

图左图为经过Zoe处理过后的黑白图,图中越亮的部分代表该部分离摄像机越近,该方法适合运用在对场景建筑的风格进行转换上。

完整工作流:ControlNet-openpose+depth | ComfyUI Workflow | 吐司 tusiart.com

comfyUI-controlNet-线稿&软边缘-CSDN博客

summary

目前已经使用过controlNet中的

lineart------线稿提取,softedge------软边缘,openpose------人物姿态提取,depth------景深

控制类型 代表模型 最佳应用场景
Lineart(线稿提取) control_v11p_sd15_lineart 1. 黑白漫画上色 2. 草图转精细插画 3. 分镜稿批量生成
SoftEdge(软边缘) control_v11p_sd15_softedge 1. 水彩/油画风格 2. 毛绒材质渲染 3. 朦胧氛围场景
OpenPose(姿态提取) control_v11p_sd15_openpose 1. 角色动作迁移 2. 多人互动场景 3. 动态分镜设计
Depth(景深) control_v11f1p_sd15_depth 1. 场景层次构建 2. 焦点虚化特效 3. 2.5D伪三维创作

各个节点的工作流的搭建方法大致相同。

模型之间的匹配真的很伤脑,lz考虑整理模型关系了。。。

相关推荐
love530love7 小时前
ComfyUI MediaPipe 终极填坑:解决 incompatible function arguments 报错,基于代理模式的猴子补丁升级版
人工智能·windows·comfyui·mediapipe·猴子补丁·monkey patch·python 3.12
π同学9 小时前
ESP-IDF+vscode开发ESP32第十讲——I2S工程2
vscode·esp32·sd·音频播放
love530love12 小时前
Python 3.12 解决 MediaPipe “no attribute ‘solutions‘” 终极方案:基于全版本硬核实测的避坑指南
开发语言·人工智能·windows·python·comfyui·mediapipe·solutions
Rubin智造社3 天前
04月27日AI每日参考:Sora正式关闭,小米机器人开源,DeepSeek再降价
comfyui·github copilot·cohere·sora关闭·aleph alpha·deepseek降价·小米机器人
阿钱真强道4 天前
23 ComfyUI 实战:AnimateDiff + OpenPose Walking 姿态驱动视频生成
openpose·animatediff·controlnet·comfyui·姿态·walking·动作控制
阿钱真强道4 天前
21 ComfyUI 实战:IP-Adapter + ControlNet 实现人物表情编辑,为什么降权重后更容易“笑出来”
aigc·stable-diffusion·controlnet·comfyui·softedge·ip-adapter·人物表情编辑
Rubin智造社5 天前
04月25日AI每日参考:谷歌豪掷400亿押注Anthropic,DeepSeek V4横空出世
大数据·人工智能·物联网·comfyui·deepseek v4·谷歌anthropic投资·meta亚马逊芯片
阿钱真强道5 天前
20 ComfyUI 实战:用 ControlNet 实现人物表情编辑,让人物“笑起来”的工作流解析
aigc·stable-diffusion·controlnet·comfyui·softedge·ip-adapter·人物表情编辑
阿钱真强道6 天前
19 基于 ComfyUI 工作流学习 AnimateDiff:单图生成视频的入门实践与问题分析
aigc·animatediff·stable-diffusion·comfyui·视频生成·图生视频·单图转视频
阿钱真强道7 天前
17 ComfyUI AnimateDiff 新手教程:最小文生视频工作流搭建与原理解析
animatediff·文生视频·stable-diffusion·comfyui·新手入门·工作流教程