阿里最新开源文生图模型-造相-Z-Image-Turbo,Comfyui支持ControlNet

一、ControlNet模型:

Z-Image-Turbo-Fun-Controlnet-Union

模型下载地址:https://www.modelscope.cn/models/PAI/Z-Image-Turbo-Fun-Controlnet-Union

模型特性

  • 该ControlNet添加在6个块上。
  • 该模型从头开始训练,使用了包含通用内容和以人为中心的内容的1百万张高质量图像的数据集,共训练了10,000步。训练是在1328分辨率下使用BFloat16精度进行的,批量大小为64,学习率为2e-5,文本dropout比率为0.10。
  • 它支持多种控制条件------包括Canny、HED、深度、姿态和MLSD,可以像标准ControlNet一样使用。
  • 您可以通过调整control_context_scale来实现更强的控制和更好的细节保留。为了获得更好的稳定性,我们强烈建议使用详细的提示。control_context_scale的最佳范围是从0.65到0.80。

结果

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| Canny | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| HED | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 深度 | 输出 |
| | |

二、Comfyui工作流:

Comfyui更新到最新版!!!更新到 v0.3.77 以上

完整工作流:

常规 Z-image 文生图:

ControlNet生成 + ControlNet控制:

ControlNet控制:ModelPatchLoader + QwenImageDiffsynthControlnet 节点(Comfyui 需要更新到 v0.3.77 以上)

工作流下载:

阿里最新开源模型-造相-Z-Image-Turbo,Comfyui支持ControlNet.json

相关推荐
love530love21 小时前
【ComfyUI/SD环境管理指南(二)】:如何避免插件安装导致的环境崩溃与“外科手术式”修复
人工智能·windows·python·stable diffusion·github·aigc·comfyui
love530love2 天前
【实践指南】Windows 下 Stable Diffusion WebUI 与 ComfyUI 模型库“完美共存”指南
人工智能·windows·python·stable diffusion·大模型·aigc·comfyui
Mr数据杨3 天前
【ComfyUI】Wan2.2 原图与关键词智能润色高清补帧视频生成
comfyui
Mr数据杨6 天前
【ComfyUI】Flux Kontext 人物,背景图像组合生成
comfyui
love530love6 天前
【笔记】ComfUI RIFEInterpolation 节点缺失问题(cupy CUDA 安装)解决方案
人工智能·windows·笔记·python·插件·comfyui
Mr数据杨8 天前
【ComfyUI】Mochi 文本转视频
comfyui
Mr数据杨9 天前
【ComfyUI】Flux Depth 深度检测引导 LoRA 图像生成
comfyui
love530love9 天前
解决 ComfyUI 启动显示 ‘sox‘ 命令未找到错误:从安装到配置的完整指南
人工智能·windows·python·aigc·comfyui·comfyui-manager
将心ONE14 天前
安装ComfyUI
comfyui