【AI学习-comfyUI学习-第二十四节-open(contorlnet多重处理)+图生图openpose-各个部分学习】

【AI学习-comfyUI学习-第二十四节-open(contorlnet多重处理)+图生图openpose-各个部分学习】

1,前言

最近,学习comfyUI,这也是AI的一部分,想将相关学习到的东西尽可能记录下来。

2,说明

1,第二十四节-open(contorlnet多重处理)工作流

这是一个「多模态结构约束 + 文本语义驱动」的 SDXL 稳定重绘工作流,

通过 OpenPose、Depth、Canny 三种 ControlNet,从姿态、空间、轮廓三个层面约束生成过程,在保证结构一致性的前提下,由 Prompt 决定风格与细节。

用同一张参考图,分别抽取「人物姿态」「空间深度」「轮廓结构」,

再把这三种约束一起喂给 Stable Diffusion,让生成结果:

  • 人物姿势不跑

  • 结构不塌

  • 构图稳定

  • 风格由 Prompt 决定

bash 复制代码
参考图 → 三种 ControlNet 条件 → 文本语义 → 采样生成 → 解码保存

2,第二十四节2-图生图openpose工作流

用一张参考图 → 自动抽人体骨架(OpenPose) →

在"图生图"的基础上,让新生成的人物严格沿用原图姿势,但外观、风格由 Prompt 决定。

bash 复制代码
原始图片
   ↓
OpenPose 骨架提取(可视化)
   ↓
ControlNet(OpenPose)
   ↓
图生图采样(KSampler)
   ↓
生成结果保存

3,流程

1-第二十四节-open(contorlnet多重处理)工作流

图像 用来干什么
图 1 提取 OpenPose(人物骨架)
图 2 提取 Depth(深度关系)
图 3 提取 Canny(边缘轮廓)

(1)调用模块

(2)输出 提示词

bash 复制代码
a dreamy anime-style portrait of a young girl,
soft delicate facial features, large expressive eyes with sparkling highlights,
short dark hair gently flowing,
surrounded by floating flower petals and leaves,
fantasy atmosphere, ethereal mood,
soft lighting, subtle glow, cinematic bokeh,
watercolor and oil painting texture,
rich purple, pink and deep blue color palette,
shallow depth of field, foreground blur,
high detail illustration, emotional, poetic

(3)生成图片

(1)原图片-参考图片

(2)生成图片

(4)模型选择

2-第二十四节2-图生图openpose工作流

(1)调用模块

(2)输出 提示词

bash 复制代码
a creative building,1girl


embedding:EasyNegative, 

(3)生成图片

(1)原图片

(2)生成图片


(4)使用模型


4,模块部分说明

① OpenPose 分支(控制"人怎么站")

用到的节点
  • ControlNet 加载器:thibaud_xl_openpose
  • ControlNet 应用(旧版高级)
它控制什么?
  • 人体姿势
  • 四肢角度
  • 身体比例
  • 脸部朝向(一定程度)

📌 作用一句话

"人物别乱动,姿势就按参考图来。"


② Depth 分支(控制"远近空间")

用到的节点
  • ControlNet:controlnet-depth-sdxl
  • ControlNet 应用(旧版高级)
它控制什么?
  • 前景 / 中景 / 背景关系
  • 脸不会突然塌
  • 背景不会贴脸

📌 作用一句话

"谁近谁远,按原图的空间关系来。"


③ Canny 分支(控制"轮廓结构")

用到的节点
  • ControlNet:diffusers_xl_canny
  • ControlNet 应用(旧版高级)
它控制什么?
  • 发型外轮廓
  • 脸型边界
  • 大的结构线条

📌 作用一句话

"形状别跑,轮廓要稳。"


四、为什么每个 ControlNet 应用节点参数几乎一样?

你这里用的是:

  • 强度(weight):0.30
  • 开始时间:0.0
  • 结束时间:1.0

这代表什么?

三种约束 都不"抢戏"

只是轻轻扶住模型

如果你想微调(很重要):

想要效果 调哪一个
姿势必须完全一致 提高 OpenPose 到 0.5~0.7
结构老是崩 提高 Canny
脸部透视怪 提高 Depth
画面太死 降低所有 ControlNet 权重

好,这一张是**「第二十四节 · 图生图 OpenPose 工作流」
我还是按你最熟悉的方式来:大白话 + 输入 / 输出 + 每一块在干嘛,而且
和你刚才那个多 ControlNet 的流程做对比**,你一眼就能记住。


五、核心 ①:DW OpenPose 预处理(最重要的节点)

📌 节点:DW姿态检测器(comfyui_controlnet_aux)

你这个节点里打开的选项非常关键:

  • ✅ 检测身体:enable
  • ✅ 检测手部:enable
  • ✅ 检测面部:enable
  • 模型:dw-ll_ucoco_384_bs5_torchscript.pt

它在干嘛(大白话)

把一张真人图 → 变成一根"彩色火柴人骨架图"

右上角保存的那张黑底 + 彩色线条的图,就是:

  • 脊柱
  • 手臂
  • 关节位置

📌 这是 OpenPose ControlNet 真正吃进去的东西


5,细节部分

1,多次尝试,画面细节有崩的地方,描述词相关

6,工作流链接

(1)第二十四节-open(contorlnet多重处理)工作流
https://download.csdn.net/download/qq_22146161/92500339

(2)第二十四节2-图生图openpose工作流
https://download.csdn.net/download/qq_22146161/92500336

7,总结

不断学习摸索中。

相关推荐
一切皆是因缘际会16 分钟前
AI数字分身的底层原理:破解意识、自我与人格复刻的核心难题
大数据·人工智能·ai·架构
翔云12345620 分钟前
vLLM全解析:定义、用途与竞品对比
人工智能·ai·大模型
ASKED_201943 分钟前
KDD Cup 2026 腾讯算法广告大赛赛题解读: UNI-REC (统一序列建模与特征交叉)
人工智能
fpcc1 小时前
AI和大模型——Fine-tuning
人工智能·深度学习
爱问的艾文1 小时前
八周带你手搓AI应用-Day4-赋予你的AI“记忆力”
人工智能
ACP广源盛139246256731 小时前
IX8024与科学大模型的碰撞@ACP#筑牢科研 AI 算力高速枢纽分享
运维·服务器·网络·数据库·人工智能·嵌入式硬件·电脑
向量引擎1 小时前
向量引擎接入 GPT Image 2 和 deepseek v4:一个 api key 把热门模型串起来,开发者终于不用深夜修接口了
人工智能·gpt·计算机视觉·aigc·api·ai编程·key
努力努力再努力FFF1 小时前
医生对AI辅助诊断感兴趣,作为临床人员该怎么了解和学习?
人工智能·学习
AI医影跨模态组学2 小时前
如何将纵向MRI深度学习特征与局部晚期直肠癌新辅助放化疗后的免疫微环境建立关联,并解释其对pCR及预后的机制
人工智能·深度学习·论文·医学·医学影像·影像组学
Empty-Filled2 小时前
AI生成测试用例功能怎么测:一个完整实战案例
网络·人工智能·测试用例