Stable Diffusion 3.5 模型在 Linux 上的部署指南

文章目录

• • 前言-参考资料如下
  • [一. ComfyUI安装](#一. ComfyUI安装)
  • 二.模型下载
  • [2.1 安装GGUF和T5 xxl编码模型](#2.1 安装GGUF和T5 xxl编码模型)
  • [2.2 安装ComfyUI辅助插件](#2.2 安装ComfyUI辅助插件)
  • [2.3 启动ComfyUI](#2.3 启动ComfyUI)
  • [2.4 基础ComfyUI和SD3.5配置](#2.4 基础ComfyUI和SD3.5配置)
  • [2.5 demo](#2.5 demo)

---

前言-参考资料如下

ComfyUI WIKI教程
sd3.5 github

尝试过sd集成ollama，但是sd在ollama上无法良好运行。故此作罢

最简单方式可以找秋叶启动器，但是不支持linux

在此之前建议安装CUDA驱动，详见 CUDA安装教程

一. ComfyUI安装

ComfyUI 是最简单易懂的图像生成应用程序。想象一下，您不知道编码，但仍然想了解每个段是什么以及在哪里相互连接，那么连接节点会让您的生活更轻松。

sudo git clone https://github.com/comfyanonymous/ComfyUI.git

二.模型下载

即city96/stable-diffusion-3.5-medium-gguf
SD3.5 medium官网存储库

2.1 安装GGUF和T5 xxl编码模型

GGUF 是一种用于图象和视频生成的量化模型，主要用于高效生成渲染图像。

而 T5-XXL 是一个专注于文本处理的大型语言模型，主要负责文本的翻译和识别任务。

# 1.下载SD 3.5量化模型权重
cd ComfyUI/custom_nodes
sudo git clone https://github.com/city96/ComfyUI-GGUF.git
python -m venv .venv
source .venv/bin/activate
sudo pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 2.下载stable-diffusion-3.5-medium-gguf模型
# 抱抱脸专属下载工具
sudo pipx install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
# 自动更新pipx环境变量
pipx ensurepath
# 重新加载终端环境
source ~/.bashrc

# 进入ComfyUI/models/unet 
cd ComfyUI/models/unet 
# 下载SD3.5 medium gguf量化模型
huggingface-cli download --resume-download city96/stable-diffusion-3.5-medium-gguf --include "sd3.5_medium-Q5_K_M.gguf" --local-dir . 
# 若上述huggingface-cli无法找到，显式执行
sudo /root/.local/bin/huggingface-cli download --resume-download city96/stable-diffusion-3.5-medium-gguf --include "sd3.5_medium-Q5_K_M.gguf" --local-dir .

# 下载T5-XXL 编码器模型
sudo huggingface-cli download --resume-download city96/t5-v1_1-xxl-encoder-gguf --local-dir .

# 3.将模型保存到ComfyUI/models/unet  
# gguf模型，把模型放在unet
mv sd3.5_medium-Q5_K_M.gguf ComfyUI/models/unet/sd3.5_medium-Q5_K_M.gguf
# T5 xxl编码器放在clip
mv t5-v1_1-xxl-encoder-gguf ComfyUI/models/clip/t5-v1_1-xxl-encoder-gguf 

若上述 2 方式下载失败直接如下浏览器下载

2.2 安装ComfyUI辅助插件

1.comfyUI节点管理器

cd ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

python -m venv .venv
source .venv/bin/activate
sudo pip3 install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple --ignore-installed urllib3

2.3 启动ComfyUI

ComfyUI启动教程官网

cd ComfyUI
# 安装依赖环境
python -m venv .venv
source .venv/bin/activate
sudo pip3 install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple
sudo pipx install gitpython -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装PyTorch 机器学习库 https://pytorch.org/get-started/previous-versions/
#=============注意需要参照自己CUDA版本================
pipx install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 自动更新pipx环境变量
pipx ensurepath
# 重新加载终端环境
source ~/.bashrc
#==================================

# 运行
sudo python3 main.py --port 8188 --listen 172.24.208.230

2.4 基础ComfyUI和SD3.5配置

参考网址sd3.5 github

下载vae diffusion_pytorch_model.safetensors

cd ComfyUI/models/vae

下载clip.safetensors
低配下载t5xxl_fp8_e4m3fn.safetensors
下载clip_g.safetensors

cd ComfyUI/models/clip/

2.5 demo

sd5 fp8 demo