一、ControlNet模型:
Z-Image-Turbo-Fun-Controlnet-Union
模型下载地址:https://www.modelscope.cn/models/PAI/Z-Image-Turbo-Fun-Controlnet-Union
模型特性
- 该ControlNet添加在6个块上。
- 该模型从头开始训练,使用了包含通用内容和以人为中心的内容的1百万张高质量图像的数据集,共训练了10,000步。训练是在1328分辨率下使用BFloat16精度进行的,批量大小为64,学习率为2e-5,文本dropout比率为0.10。
- 它支持多种控制条件------包括Canny、HED、深度、姿态和MLSD,可以像标准ControlNet一样使用。
- 您可以通过调整control_context_scale来实现更强的控制和更好的细节保留。为了获得更好的稳定性,我们强烈建议使用详细的提示。control_context_scale的最佳范围是从0.65到0.80。
结果
|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
|
|
|
|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
|
|
|
|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| Canny | 输出 |
|
|
|
|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| HED | 输出 |
|
|
|
|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 深度 | 输出 |
|
|
|
二、Comfyui工作流:
Comfyui更新到最新版!!!更新到 v0.3.77 以上
完整工作流:

常规 Z-image 文生图:

ControlNet生成 + ControlNet控制:
ControlNet控制:ModelPatchLoader + QwenImageDiffsynthControlnet 节点(Comfyui 需要更新到 v0.3.77 以上)
