第017章:ComfyUI文生图Z-Image模型创建数字人模特(一)

一、Z-Image模型介绍

Z-Image 是阿里巴巴通义 MAI 团队于 2025-11-27 发布的开源文生图基础扩散大模型,有三个版本:

(1)Z_Image_Base:原生未蒸馏基础版。

(2)Z-Image_Turbo:蒸馏加速版,8 步极速生成,消费显卡本地秒出图。

(3)Z-Image_Edit:图文编辑专用分支,支持自然语言局部重绘、图生图、指令式修图。

第一个Base模型对显存要求比较高,而且出图偏慢。出图质量相比Turbo模型稍微好那么一丢丢。

第三个Edit模型,时Z-Image的图像编辑模型,但这个编辑模型用的人比较少,他的编辑能力弱于FLUX.2Klein和Qwen-Image-2512,所以一般做图像编辑我们不选他。

我们一般用第二个Z_Image_Turbo模型,你可以理解为是Base模型的涡轮增压版。Z_Image模型的强项就在于人像的生成。他生成的人像明显优于Qwen的效果。FLux由于是欧美的模型,所以对于我们国人的人像方面训练是有先天不足的,如果是生成欧美的人物,那么Flux也是OK的。

二、模型的下载

这里大家记住一个网站魔塔社区(www.modelscope.cn),这是由阿里巴巴达摩院 + 阿里云 + CCF 中国计算机学会开源发展委员会联合推出,是国内规模最大、中文友好的一站式 AI 模型开源社区,对标海外 Hugging Face,深度适配国内网络、中文语义、国产算力环境。

进去以后先注册,点击菜单导航栏的"模型库"。

在搜索框里输入"Z_Image",看我红框标出来的是带有Comfy标识的,这个就是在ComfyUI里可以使用的,一般第一个都是完整的原始模型,那个是需要的显存都是TB说话,不是我们家用机玩的东西,不过一般这个完整版里面的模型介绍一般都是最全的,大家也可以点进去看看。

我们一般使用的都是在原版的基础上,经过蒸馏轻量化以后的版本,大大降低了显存的要求以便于在家用机上可以使用(我们下载下图红框括出来的带有Comfy标识的版本)。

进来以后点击"split_files"文件夹,进去以后就是Z-Image_Turbo模型需要下载的全套东西。

(1)diffusion_models文件夹,下面存放的就是主模型文件,两个模型一个_bf16版本一个nvfp4版本,大家根据自己的显卡进行选择,直接点击后面的下载就ok。

(2)loras文件夹,下面存放了一个loar模型,这个lora模型是Z-image官方出的一个修复补丁 LoRA。

是为了解决修复,Z-Image搭配自定义角色 / 风格 LoRA 一起使用8 步采样下糊图、结构畸变的问题,校正蒸馏降噪逻辑,既能保留自定义 LoRA 画风,又不丢失 Turbo 极速出图的特性。

这个我们暂时用不到,你也可以先下载下来,等后面用到的时候哦再说。

这里再给大家解释以下Lora是个什么东西,如果Z-Image是一个大模型,那么适配他的lora就是为他服务的小模型,可以理解为他的助理。比如Z-Image在训练的时候可能是大体上是比较均衡的,在某些特定的领他可能就不太擅长。

比如某个家装设计师有自己的独特设计风格,这是在市场上独树一帜的。他用普通的Z-Image之类的大模型,就画不出他自己的风格。这时候他就可以找模型训练师,去训练一个独属于自己的风格Lora,搭配着大模型去使用,就能画出自己想要的风格的。

一般的lora模型用几百张图片就可以训练出来,所以一般大小也就一二百兆大小。

(3)text_encoders文件夹,下面存放的就是Clip(文本编码)的文件。

我们做文生图的时候,是不是先要用人话(中文、英文)来描述一下我们想要生成的图片,是个什么样子!这个Clip文本编码文件的作用就是一个翻译,把我们的人话翻译成模型能听懂的话,由于这个Qwen是阿里出的,所以我们说中文他也是能听懂的,不想早期SD模型的Clip编码文件就只能输入英文。

(4)vae文件夹,下面存放的就是图片的编码解码器文件。

我们可以这样理解Vae的作用,Z-Image这主模型呢是没法在一张白纸上从0开始做画的,当我们把指令通过CLip传给主模型后,主模型就要先让Vae给他根据我们输入的要求先出一个主模型能认识的"隐形草稿(潜空间)"。

然后主模型在这个潜空间里,把各种的色彩都弄好,让后再交给Vae,由Vae再把这个处理好的"隐形草稿(潜空间)"转换为我们人类可以正常欣赏的图片展示出来。

三、模型部署

把上面的那些文件都下载下来以后,我们需要把这些文件都部署到我们的ComfyUI里,先打开ComfyUI的安装目录,把相应的文件复制到对应的文件夹里面就可以。

第一步:部署主模型(z_image_turbo_bf16.safetensors)文件路径"D:\ProgramFile\ComfyUI\ComfyUI-V9.5\models\unet"。直接放到这个文件夹下面就可以,我个人建议可以在加一个文件夹区分一下,要不然后面里面放的模型多了会比较乱。

第二部:部署Clip文件(qwen_3_4b_fp8_mixed.safetensors)的文件路径"D:\ProgramFile\ComfyUI\ComfyUI-V9.5\models\clip"。同样直接放在这个文件夹下面就可以,我个人又多加了文件夹用于区分。

第三步:部署Lora文件(这个我没有下载,等用到的时候我再下)的文件路径"D:\ProgramFile\ComfyUI\ComfyUI-V9.5\models\loras"。以后的其他Lora文件都放到这里面。

第四步:部署Vae文件(ae.safetensors)的文件路径"D:\ProgramFile\ComfyUI\ComfyUI-V9.5\models\vae"

到这里我们把所有需要准备的工作就准备完成了,下一步就是搭建工作流出图看效果了,不知不觉也写了两千四百多个字了,今天就先到这里吧,我们下一章再见。