阿里最新开源文生图模型-造相-Z-Image-Turbo,Comfyui支持ControlNet

一、ControlNet模型:

Z-Image-Turbo-Fun-Controlnet-Union

模型下载地址:https://www.modelscope.cn/models/PAI/Z-Image-Turbo-Fun-Controlnet-Union

模型特性

  • 该ControlNet添加在6个块上。
  • 该模型从头开始训练,使用了包含通用内容和以人为中心的内容的1百万张高质量图像的数据集,共训练了10,000步。训练是在1328分辨率下使用BFloat16精度进行的,批量大小为64,学习率为2e-5,文本dropout比率为0.10。
  • 它支持多种控制条件------包括Canny、HED、深度、姿态和MLSD,可以像标准ControlNet一样使用。
  • 您可以通过调整control_context_scale来实现更强的控制和更好的细节保留。为了获得更好的稳定性,我们强烈建议使用详细的提示。control_context_scale的最佳范围是从0.65到0.80。

结果

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| Canny | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| HED | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 深度 | 输出 |
| | |

二、Comfyui工作流:

Comfyui更新到最新版!!!更新到 v0.3.77 以上

完整工作流:

常规 Z-image 文生图:

ControlNet生成 + ControlNet控制:

ControlNet控制:ModelPatchLoader + QwenImageDiffsynthControlnet 节点(Comfyui 需要更新到 v0.3.77 以上)

工作流下载:

阿里最新开源模型-造相-Z-Image-Turbo,Comfyui支持ControlNet.json

相关推荐
GPU实战笔记8 天前
ComfyUI 镜像首跑:先验证自启动与端口入口,再处理外部服务集成
comfyui·故障排查·镜像部署·云端gpu·端口访问
jianpeng的工程笔记8 天前
Qwen-Image-2.1 图像编辑拆解:从透明改字到多图合成
人工智能·qwen·图像生成·comfyui
AIGC小尼8 天前
本地AI漫剧部署|低配8G显存实战部署MiniMax-H3|4步极速采样+低显存优化完整方案(可角色替换/视频魔改)
人工智能·stable diffusion·comfyui·ai漫剧
福大大架构师每日一题10 天前
ComfyUI v0.36.0更新:视频拼接、通用循环、Yue2音乐、Marigold v2与大量合作节点全面上线
comfyui
每天死循环10 天前
ComfyUI 桌面版保姆级图文教程 · 第二节:一张手抄报彩图,出「深线稿 + 浅线稿」两张涂色卡
ai作画·comfyui·手抄报
论文复现现场11 天前
ComfyUI 怎么同时调用 4 张/8 张 RTX 4090?AI 视频批量生成的多实例队列与 Python 调度方案
人工智能·python·comfyui·rtx4090
wsad053212 天前
ComfyUI 学习笔记:权重(Weight)是什么
comfyui
每天死循环13 天前
ComfyUI 桌面版保姆级图文教程 · 第一节:从安装到出第一张图
ai·文生图·安装软件·comfyui·comfyui桌面版
wsad053214 天前
ComfyUI 学习笔记:Load Checkpoint vs Load Diffusion Model vs Load VAE
comfyui
wsad053214 天前
ComfyUI 学习笔记:图像生成过程全总结
comfyui