【AI学习-comfyUI学习-三十二节-FLXU原生态反推+controlnet depth(UNion)工作流-各个部分学习】

@TOC(AI学习-comfyUI学习-三十二节-FLXU原生态反推+controlnet depth(UNion)工作流-各个部分学习)

1,前言

最近,学习comfyUI,这也是AI的一部分,想将相关学习到的东西尽可能记录下来。

2,说明

1,第三十二节-FLXU原生态反推工作流

输入图片 → JoyCaption 自动反推描述 → 送入 FLUX 双 CLIP 条件 → KSampler 生成 → VAE 解码 → 保存

bash 复制代码
【模型加载】
 UNet + 双CLIP + VAE
        ↓
【输入图像】
        ↓
【VAE 编码 → Latent】
        ↓
【JoyCaption 自动生成 prompt】
        ↓
【CLIP 文本编码(正 / 负)】
        ↓
【KSampler(FLUX)】
        ↓
【VAE 解码 → Image】
        ↓
【保存】

这是一个:自动理解图片 → 自动写 prompt → 再用 FLUX 高质量重绘的 pipeline

2,第三十二节2-FLUX controlnet depth(UNion)模型工作流

原图 → DepthAnything 抽几何 → ControlNet Union(depth) 锁结构

→ JoyCaption 生成语义 → CLIP 控制风格

→ FLUX 低 CFG 采样 → 高一致性重绘

3,流程

1-第三十二节-FLXU原生态反推工作流

(1)调用模块

(2)输出 提示词

输出得提示词,自动生成

bash 复制代码
1girls, blue_eyes, weapon, full body, sky, boobs, looking at viewer, black pants, parted lips, white hair, bangs, white gloves, black gloves, holding, black footwear, snow, long hair, black jacket, long sleeve, photoshop (medium), thigh boots, holding weapon, long gloves, black_blouse, holding sword, solo, parted_bangs, cleavage, black leotard, sfw, leotard, bare shoulder, holding gun, ponytail, jacket, weapon over shoulder, bare arms, large_breasts, armpit, hair ornament, white blouse, thighhighs, long ponytail, original, blue sky, hair between eyes, gun, black hair, gloves, white hairband, black hairband, armour, swords, snowing, white hairband, 1other, long hair tied low, blue hairband, hairband, snowing hairband, blush, weapon on shoulder, black gloves, weapon on head, hair accessory, thigh strap, tits apart, hair between breasts, weapon on headwear, white_gloves, holding weapon over shoulder, weapon over head, snowing hair, hair between fingers, pants, hair intakes, blue eyes, armour on shoulders, white hairband, hair between legs, holding weapon over head, hair between thighs, armour_between_breasts, holding weapon between legs, hair between, hair between elbows, armour on forearms, armour_between

(3)生成图片

(1)原图片

(2)生成图片

(4)模型选择

2-第三十二节2-FLUX controlnet depth(UNion)模型工作流

(1)调用模块

(2)输出 提示词

bash 复制代码
Chinese style high quality character render, cinematic fantasy artwork,
dynamic action pose, strong sense of motion,
sharp focus, high contrast lighting,
detailed fabric texture, realistic skin detail,
professional concept art quality,
clean lighting, no illustration texture,
dramatic lighting, clear depth separation


painterly, illustration, sketch, watercolor,
flat lighting, dull colors, gray tone,
paper texture, canvas texture,
low contrast, blurry, low detail

(3)生成图片

(1)原图片-参考图

(2)生成图

(4)使用模型

4,模块部分说明

1 JoyCaption 自动反推(核心亮点)

🔹 Joy Caption Two Load
  • 使用模型:unsloth/Meta-Llama-3.1-8B-bnb-4bit
  • 管道:JoyTwoPipeline

这是:

LLM + Vision Encoder 的图像描述模型


🔹 JoyCaption Two(参数)
参数 含义
caption_type Descriptive
caption_length long
low_vram false

👉 输出的是 长、完整、偏自然语言的描述

📌 这一步 = 自动写 prompt


🔹 输出去向
  • 输出 STRING
  • 直接送入下面的 CLIP 文本编码器

2 CLIP 文本编码(FLUX 专用)

你这里有 两个一模一样的节点

🔹 CLIP 文本编码(Flux)×2
  • 上:正向 prompt
  • 下:负向 prompt

参数:

复制代码
权重:3.5

3 DownloadAndLoadDepthAnythingV2Model

看到的参数

text 复制代码
model: depth_anything_v2_vitl_fp32.safetensors
precision: auto

作用一句话:

加载 Depth Anything V2 的深度预测模型(本体),供后续节点使用。


🔍 关键点逐条解释

🔹 model:depth_anything_v2_vitl_fp32

  • Depth Anything V2

    • 当前最强、最稳定的通用深度估计模型之一
  • vitl

    • Vision Transformer Large

    • 比 base / small:

      • 边缘更准
      • 人体轮廓更干净
      • 前后层次更稳定
  • fp32

    • 精度最高
    • 深度连续性最好(适合 ControlNet)

📌 结论:

这是"质量优先"的正确选择

代价只是显存和速度。


🔹 precision:auto

含义:

  • 如果显存够 → fp32
  • 显存紧 → 自动降精度

👉 对深度图质量几乎没负面影响

✔️ 推荐保持 auto


它只:

  • 加载模型
  • 输出一个 da_model(深度模型句柄)

5,细节部分

1-图片识别能力

有时候调试很久,一直要不到感觉质量好的图,可能使用得图片就太难了

6,工作流链接

(1)第三十二节-FLXU原生态反推工作流
https://download.csdn.net/download/qq_22146161/92554564

(2)第三十二节2-FLUX controlnet depth(UNion)模型工作流
https://download.csdn.net/download/qq_22146161/92554566

7,总结

不断学习摸索中。

相关推荐
林澈在路上2 分钟前
能做DJ的AI写歌软件推荐:MELO音乐对比Suno v6
大数据·人工智能·github·音视频·音频
前端snow3 分钟前
ai agent --- AGUI 协议,流式渲染组件
人工智能·后端
十二教育4 分钟前
企业网盘选型分析
人工智能
~央千澈~7 分钟前
优雅草科技卓伊凡PC电脑清理器-优雅草清理器2026年9月14日发布
人工智能
Keep_Trying_Go7 分钟前
Kaggle CLI Datasets上传文件教程(保姆级)
人工智能·计算机视觉·kaggle
kkkkkkkkkk_Z8 分钟前
学嵌入式和Linux应用编程|学习日记:UDP协议与Wireshark抓包学习笔记
linux·笔记·学习
桃西西呀14 分钟前
提前一天预报雾霾:手搓神经网络,讲清学习率、初始化、正则化
人工智能·深度学习·llm
这张生成的图像能检测吗24 分钟前
(论文速读)FiDeSR:高保真保细节一步扩散超分辨率
图像处理·人工智能·深度学习·计算机视觉·扩散模型·图像超分
网易易盾25 分钟前
应用加固如何应对AI辅助逆向?从单点防护到持续对抗
人工智能·安全
维核科技26 分钟前
自动驾驶商业化提速:Robotaxi 开始收费,无人重卡走向量产
人工智能