阿里最新开源文生图模型-造相-Z-Image-Turbo,Comfyui支持ControlNet

一、ControlNet模型:

Z-Image-Turbo-Fun-Controlnet-Union

模型下载地址:https://www.modelscope.cn/models/PAI/Z-Image-Turbo-Fun-Controlnet-Union

模型特性

  • 该ControlNet添加在6个块上。
  • 该模型从头开始训练,使用了包含通用内容和以人为中心的内容的1百万张高质量图像的数据集,共训练了10,000步。训练是在1328分辨率下使用BFloat16精度进行的,批量大小为64,学习率为2e-5,文本dropout比率为0.10。
  • 它支持多种控制条件------包括Canny、HED、深度、姿态和MLSD,可以像标准ControlNet一样使用。
  • 您可以通过调整control_context_scale来实现更强的控制和更好的细节保留。为了获得更好的稳定性,我们强烈建议使用详细的提示。control_context_scale的最佳范围是从0.65到0.80。

结果

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 姿态 | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| Canny | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| HED | 输出 |
| | |

|---------------------------------------------------------------------------------|---------------------------------------------------------------------------------|
| 深度 | 输出 |
| | |

二、Comfyui工作流:

Comfyui更新到最新版!!!更新到 v0.3.77 以上

完整工作流:

常规 Z-image 文生图:

ControlNet生成 + ControlNet控制:

ControlNet控制:ModelPatchLoader + QwenImageDiffsynthControlnet 节点(Comfyui 需要更新到 v0.3.77 以上)

工作流下载:

阿里最新开源模型-造相-Z-Image-Turbo,Comfyui支持ControlNet.json

相关推荐
love530love8 天前
【ComfyUI】解决 ModuleNotFoundError: No module named ‘inference_core_nodes‘ 问题
人工智能·windows·python·comfyui·inference-core
福大大架构师每日一题9 天前
ComfyUI v0.14.2 发布:修复 Gemini/Nano banana 节点空白图像问题,全新 MIME 匹配机制登场
android·comfyui
学易9 天前
第二十节.探索新技术:如何自学SD3模型(上)(找官方资料/精读/下载/安装/3款工作流/效果测试)
人工智能·ai作画·stable diffusion·comfyui·工作流·sd3
AI资源库13 天前
BFS-Video 深度解析:从 LTX 架构剖析到 Agent 智能体集成实战
生成式ai·comfyui·lora微调·ltx-video·aigc应用·langchain实战·agent智能体开发
hhzz17 天前
【Vision人工智能设计 】ComfyUI 基础文生图设计
人工智能·comfyui·视觉大模型·wan
hhzz17 天前
【Vision人工智能设计 】ComfyUI 基础图生图设计
人工智能·flux·comfyui·视觉大模型·lora模型
爱知菜17 天前
Safetensors 扩散模型的结构解析(checkpoint & diffusers)
comfyui
雪碧聊技术19 天前
图生图与背后的运行逻辑
图生图·comfyui
爱知菜20 天前
ComfyUI秋叶整合包安装JoyCaption
comfyui
爱知菜20 天前
ComfyUI ControlNet 环境搭建备忘录
controlnet·comfyui