MOSS-Image-Base 实战：从文生图到 JSON 布局精准控图

MOSS-Image-Base

MOSS-Image-Base 是 OpenMOSS MOSS-Image 系列中的基础文生图模型。

它支持自然语言提示词、标签序列以及 JSON 布局，用于控制文字位置与物体排布。

Base 与 SFT 对比

在本示例中，SFT 生成的文字分组更清晰，白板布局也更有条理。

MOSS-Image-Base	MOSS-Image-SFT

快速开始

请使用 Python 3.10 或更高版本，以及支持 CUDA 的 NVIDIA GPU。先安装与你的 CUDA 环境兼容的 PyTorch

2.9 或更高版本，然后安装：

bash 复制代码

pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" "safetensors>=0.6" "Pillow>=10"

python 复制代码

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "OpenMOSS-Team/MOSS-Image-Base",
    custom_pipeline="pipeline_moss_image",
    trust_remote_code=True,
    torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
)
pipe.scheduler = type(pipe.scheduler).from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = '''A wide view of a refrigerator beside a kitchen counter with a fruit bowl. A small sticky note on the refrigerator door is handwritten in Chinese:
"记得买牛奶和鸡蛋！
牛奶两盒，鸡蛋一打。
顺便带一袋面包。"'''

image = pipe(
    prompt,
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=3.0,
    uncond_skip_layers=[22],
    generator=torch.Generator("cpu").manual_seed(42),
).images[0]
image.save("refrigerator_note.png")

模型与自定义管线代码会自动下载并缓存。你也可以向 from_pretrained 传入完整的本地模型目录。

Transformer 与文本编码器使用 bfloat16；VAE 和初始噪声使用 float32。内置 VAE 采用 FLUX.2 小型解码器。

关于 Gradio 界面、CPU offload 和编译选项，请参阅

项目快速开始。

如需 ComfyUI，请在 ComfyUI Manager 中搜索 MOSS-Image 以安装原生插件。

集成到 ComfyUI 官方仓库的工作正在进行中。

请参阅安装与使用指南

和示例工作流。