AI学习-comfyUI学习-三十四节-FLXUc-openpose-unio+黑森林lora canny工作流-各个部分学习
- 1，前言
- 2，说明
-
- [1，第三十四节-FLUX-openpose(unio) 工作流](#1，第三十四节-FLUX-openpose(unio) 工作流)
- [2，第三十四节2-黑森林lora canny工作流](#2，第三十四节2-黑森林lora canny工作流)
- 3，流程
- 4，模块部分说明
- 5，细节部分
- 6，工作流链接
- 7，总结
1，前言
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。
2，说明
1，第三十四节-FLUX-openpose(unio) 工作流
用 OpenPose 抽取人体骨架（姿态） → 通过 Union ControlNet 注入 FLUX → 在"姿态几乎不变"的前提下，让人物外观、风格、画风发生变化。
Canny = 锁轮廓 / 结构
OpenPose = 锁"人怎么摆"
那这套就是：
👉 姿态锁死，外观自由
bash
输入人物图片
↓
尺寸统一（1024）
↓
OpenPose 姿态提取（controlnet_aux）
↓
Union ControlNet（pose 分支）
↓
FLUX 主模型（文本条件）
↓
KSampler 采样
↓
VAE 解码
↓
输出图像2，第三十四节2-黑森林lora canny工作流
用 Canny 锁住人物结构，用 LoRA 强制注入某一风格，再通过 InstructPix2Pix 的"指令式 Prompt"来完成可控重绘。
bash
输入图片
↓
缩放（512）
↓
Canny 线稿提取
↓
VAE 编码（Image → Latent）
↓
FLUX 主模型 + LoRA
↓
InstructPix2Pix 条件构造
↓
KSampler 采样
↓
VAE 解码
↓
最终图像结构不乱（Canny）
风格不跑（LoRA）
修改有指令（InstructPix2Pix）
3，流程
1-第三十四节-FLUX-openpose(unio) 工作流
（1）调用模块
（2）输出 提示词
输出得提示词，自动生成
bash
1girl, long hair, sitting, very long hair, photoshop (medium), white shirt, parted lips, bare legs, bangs, shirt, original, black eyes, white background, eyebrows visible through hair, parted bangs, bangs between eyes, looking at viewer, long ponytail, bare shoulder, black hair, long sleeves, red lips, bangs over eyes, full body, long ponytail, full face, short sleeves, bare arms, solo, long fingernails, from side, fingernails, upper body, closed mouth, simple_background, sfw<|end_of_text|>blog.csdnimg.cn/direct/ef06ac32114b471c835377f733703323.png)
负面使用，正面不使用
（3）生成图片
（1）原图片
（2）生成图片
（4）模型选择
2-第三十四节2-黑森林lora canny工作流
（1）调用模块
（2）输出 提示词
bash
a modern style of a luxury apartment design
a modern style of a luxury apartment design
（3）生成图片
（1）原图片-参考图
（2）
（4）使用模型
4，模块部分说明
1 OpenPose 预处理（controlnet_aux）
这一节点是本套的"灵魂"。
输出内容是什么？
-
人体关键点
- 头
- 肩
- 手肘
- 手腕
- 髋
- 膝
-
以 彩色骨架 / 关键点图 形式输出
📌 注意：
- 它不关心脸长什么样
- 不关心衣服
- 只关心：
👉 "这个人怎么坐、怎么抬手、腿怎么放"
2 Union ControlNet（OpenPose 分支）
这是这套和 xLabs Canny 最大的不同点。
你这里用的是：
-
Set Shakker Labs Union ControlNet Type
type = pose
-
FLUX ControlNet Union Pro
-
ControlNet 应用节点
📌 Union 的意义在 OpenPose 场景里更大：
-
以后可以：
- pose + depth
- pose + canny
-
而不用换模型
3 FLUX UNet + LoRA 注入（核心变化点）
你这里加载了：
-
UNet：
flux1-dev.sft -
LoRA：
flux1-canny-dev-lora.safetensors -
LoRA 强度：
- model = 1.0
- clip = 1.0
LoRA 在这套里的作用是：
不是微调画风，而是"硬指定生成分布"
📌 换句话说：
- 不管 Prompt 怎么写
- 不管 CFG 怎么调
- LoRA 在"掰模型方向"
4 InstructPix2Pix 条件构造（关键节点）
这是很多人看不懂、但你已经用上的节点 👇
它在做什么？
它把三件东西合并：
- 原图 latent
- 正向指令 Prompt
- 负向约束 Prompt
→ 生成 "修改指令 latent"
📌 这意味着：
-
你不是在"重画"
-
而是在对模型说：
"在保持原结构的前提下，按这个要求改"
5，细节部分
6，工作流链接
（1）第三十四节-FLUX-openpose(unio) 工作流
https://download.csdn.net/download/qq_22146161/92565407
（2）第三十四节2-黑森林lora canny工作流
https://download.csdn.net/download/qq_22146161/92565414
7，总结
不断学习摸索中。