comfyUI-ControlNet-姿势控制&深度控制

一个较免费的获取大量高质量真实人物素材的网站

发现并下载免费图片 - Pixabay

1.基础工作流

最基本的5个节点:Checkpoint、CLIP、K采样器、VAE解码、空Latent

2.加载ControlNet节点

openppse主要控制人物骨骼和面部表情。

此处同样使用到webUI中使用过的DWpose:SD-细节控制-CSDN博客

在webUI中使用效果

加载openpose类型的ControlNet模型,实现姿势的融合。

3.图像姿态处理-openpose

如果图片分辨率过高,可以取消获取原图大小节点的使用,将已经转换为输入的宽高度,重新转换为组件,自行输入数据 。

下图就是由于lz原有图片分辨率过高,导致生成图片出现异常。

使用DW姿态预处理器节点。从图像中提取人体姿态关键点(骨骼关节点)

BBox(边界框)检测中的模型为均为目标检测模型(Object Detection Models),专门用于在图像中识别并定位物体(如人体、车辆等),生成边界框(Bounding Box,简称BBox)。

文件格式后缀说明

文件后缀 运行环境 优势
.onnx 通用 (ONNX Runtime) 兼容性强,跨平台
.torchscript.pt PyTorch专属 与Torch生态无缝集成
_fp16.onnx 支持FP16的硬件 显存减半,速度提升20%

姿态预估处

建议使用dw-ll_ucoco_384_bs5.torchscript。

在更改图片分辨率,将生成图片的分辨率改为模型训练时的分辨率后,图像即能参考原图姿势实现风格的转绘。如果提示词过多。可能会导致动作参考不够准确,可以通过修改ControlNet中的强度提升生图对姿态的参考。

4.景深-depth

通过获取原始图片画面中各独立要素与照相机之间的距离关系,和openpose的节点布局一致,只需要将ControlNet加载的模型更换为depth类型的模型,同时使用Zoe深度预处理器对参考图片进行处理即可。

由于更换场景类图片并修改提示词后,生成的图片效果会比原来好很多。

图左图为经过Zoe处理过后的黑白图,图中越亮的部分代表该部分离摄像机越近,该方法适合运用在对场景建筑的风格进行转换上。

完整工作流:ControlNet-openpose+depth | ComfyUI Workflow | 吐司 tusiart.com

comfyUI-controlNet-线稿&软边缘-CSDN博客

summary

目前已经使用过controlNet中的

lineart------线稿提取,softedge------软边缘,openpose------人物姿态提取,depth------景深

控制类型 代表模型 最佳应用场景
Lineart(线稿提取) control_v11p_sd15_lineart 1. 黑白漫画上色 2. 草图转精细插画 3. 分镜稿批量生成
SoftEdge(软边缘) control_v11p_sd15_softedge 1. 水彩/油画风格 2. 毛绒材质渲染 3. 朦胧氛围场景
OpenPose(姿态提取) control_v11p_sd15_openpose 1. 角色动作迁移 2. 多人互动场景 3. 动态分镜设计
Depth(景深) control_v11f1p_sd15_depth 1. 场景层次构建 2. 焦点虚化特效 3. 2.5D伪三维创作

各个节点的工作流的搭建方法大致相同。

模型之间的匹配真的很伤脑,lz考虑整理模型关系了。。。

相关推荐
Mr数据杨1 天前
【ComfyUI】Qwen 固定人物IP多场景生成写真生成
comfyui
Mr数据杨3 天前
【ComfyUI】Qwen Edit 同人同景同服装一致性模特套图
comfyui
聚梦小课堂4 天前
【Docker实战】n8n容器如何访问宿主机ComfyUI?详解 host.docker.internal 与网络配置
docker·网络配置·comfyui·n8n·自动化工作流
Mr数据杨5 天前
【ComfyUI】Flux Kontext 身形调优与体态增强
comfyui
paopao_wu5 天前
ComfyUI遇上Z-Image(3):文生图/图生图
人工智能·ai·文生图·图生图·comfyui·z-image·we
聚梦小课堂5 天前
Comfyui中安装SageAttention(for Wan2.2)的记录
comfyui
paopao_wu6 天前
ComfyUI遇上Z-Image(1):环境部署与AI图像生成快速体验
人工智能·ai·大模型·comfyui·z-image
Yeliang Wu7 天前
ComfyUI 全流程指南:安装、配置、插件与模型选型
stable diffusion·文生图·图生图·comfyui
懵懵爸爸8 天前
ComfyUI 插件用不了 缺少__init__.py文件
comfyui
kocor9 天前
阿里最新开源文生图模型-造相-Z-Image-Turbo,Comfyui支持ControlNet
controlnet·comfyui·z-image