阿里最新开源文生图模型-造相-Z-Image-Turbo,Comfyui支持ControlNet

一、ControlNet模型:

Z-Image-Turbo-Fun-Controlnet-Union

模型下载地址:https://www.modelscope.cn/models/PAI/Z-Image-Turbo-Fun-Controlnet-Union

模型特性

  • 该ControlNet添加在6个块上。
  • 该模型从头开始训练,使用了包含通用内容和以人为中心的内容的1百万张高质量图像的数据集,共训练了10,000步。训练是在1328分辨率下使用BFloat16精度进行的,批量大小为64,学习率为2e-5,文本dropout比率为0.10。
  • 它支持多种控制条件------包括Canny、HED、深度、姿态和MLSD,可以像标准ControlNet一样使用。
  • 您可以通过调整control_context_scale来实现更强的控制和更好的细节保留。为了获得更好的稳定性,我们强烈建议使用详细的提示。control_context_scale的最佳范围是从0.65到0.80。

结果

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| Canny | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| HED | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 深度 | 输出 |
| | |

二、Comfyui工作流:

Comfyui更新到最新版!!!更新到 v0.3.77 以上

完整工作流:

常规 Z-image 文生图:

ControlNet生成 + ControlNet控制:

ControlNet控制:ModelPatchLoader + QwenImageDiffsynthControlnet 节点(Comfyui 需要更新到 v0.3.77 以上)

工作流下载:

阿里最新开源模型-造相-Z-Image-Turbo,Comfyui支持ControlNet.json

相关推荐
若苗瞬2 天前
过去换脸现在换头?ComfyUI+LTX2.3+BFS In Context LoRA
comfyui·swap·face·best·ltx
AI视觉爱好者8 天前
ComfyUI 中文提示词:可视化选填,一键生成专属提示词
prompt·文生图·comfyui·中文提示词
YoanAILab17 天前
AI 推理系统架构怎么选?图像生成与文本生成的分层选型思路(ComfyUI / Dify / vLLM / Triton)
人工智能·系统架构·comfyui·dify·vllm·ai工程
1204157137 肖哥20 天前
ComfyUI 图片高清放大的正确顺序
comfyui
yy我不解释21 天前
关于comfyui的mmaudio音频生成插件时时间不一致问题(三)
开发语言·python·ai作画·音视频·comfyui
yy我不解释21 天前
关于comfyui的mmaudio音频生成插件时时间不一致问题(四)(video upload)(解决方法)
开发语言·python·ai作画·音视频·comfyui
维度攻城狮22 天前
AI 工具加持:ComfyUI 节点开发极速上手
人工智能·python·comfyui·工作流·节点图
yy我不解释23 天前
关于comfyui的mmaudio音频生成插件时时间不一致问题(一)
python·ai作画·音视频·comfyui
虎冯河25 天前
怎么在comfyui的虚拟环境下安装插件的requirements.txt
comfyui
love530love1 个月前
ComfyUI rgthree-comfy Image Comparer 节点无输出问题排查与解决
人工智能·windows·python·comfyui·rgthree-comfy·nodes 2.0·vue 节点