(二)Stable Diffusion 3.5硬件准备与环境配置 —— 低配显卡也能跑大模型

随着 Stable Diffusion 3.5 (SD 3.5) 的发布，生成式 AI 的门槛再次降低。虽然其 Large 版本拥有高达 81 亿的参数量，但通过合理的量化选择、显存管理技巧以及操作系统级的优化，即便是在 8GB 或 12GB 显存的消费级显卡上，也能获得极佳的生成体验。

2.1 显存容量与量化选择指南

在本地运行 SD 3.5 时，显存 (VRAM) 是最核心的硬件指标。SD 3.5 Large 模型在原生精度 (FP16/BF16) 下，通常需要约 18--19 GB 的显存才能完整加载。这意味着如果你想体验不经过性能削减的原生模型，至少需要一张 RTX 3090 或 RTX 4090 (24GB)。

原生精度 vs. FP8 量化

为了让 12GB 显存的主流显卡（如 RTX 4070 Ti）也能跑动大模型，FP8 量化技术应运而生。

资源占用 ：FP8 量化通过将模型权重从 16 位压缩至 8 位，能将 Large 版本的显存占用从 19GB 降低约 40% ，降至 11GB 左右。
画质损耗：社区测试表明，虽然 FP8 与 FP16 生成的图像在像素级存在细微差异，但其视觉质量几乎处于"无损"级别，提示词遵循能力甚至在某些测试中更具优势。

RTX 40/50 系列的硬件红利

如果你使用的是最新的 RTX 40 系列 (Ada Lovelace) 或 RTX 50 系列 (Blackwell) 显卡，FP8 不仅仅是为了省显存。

2.3 倍速度提升 ：这些新架构显卡拥有原生支持 FP8 计算的 Tensor Cores 。通过启用 TensorRT 优化，生成速度可达到标准 PyTorch 实现的 2.3 倍。
对比旧架构：在 RTX 30 系列上，FP8 仅作为一种"存储压缩"方式，计算时仍需转回 FP16，因此无法获得这种显著的推理加速。

2.2 解决 T5-XXL 文本编码器瓶颈

SD 3.5 采用了三文本编码器系统，其中 T5-XXL 是实现复杂长提示词理解的核心，但它也是著名的"显存杀手"。

显存瓶颈解析

T5-XXL 模型本身拥有约 47 亿参数。加载其 FP16 版本 约需 10.5--11 GB 显存。对于 12GB 显卡的家庭用户，仅仅加载这一个编码器就会导致显存溢出 (OOM)，根本没有空间留给图像生成主模型。

解决方案

8-bit 量化 (FP8 T5-XXL) ：将 T5 编码器也进行 8 位量化。这能将其显存占用从 11GB 直接腰斩至约 5.2 GB。
CPU Offloading (CPU 卸载)：在 Diffusers 或 ComfyUI 中，你可以选择将文本编码器加载到系统内存 (RAM) 中。编码过程在 CPU 上完成，编码结束后释放显存给 GPU 进行扩散计算。这虽然会增加几秒钟的初始化时间，但能彻底解决显存不足的问题。

2.3 操作系统与驱动优化技巧

除了软件层面的优化，系统环境的配置同样决定了生成过程是否稳定、流畅。

Windows 虚拟显存 (Swap File) 设置建议

Windows 的"系统内存回退机制"是一把双刃剑。当 VRAM 填满时，系统会将数据移动到 PCIe 总线另一端的系统内存中。

优化操作 ：为防止崩溃，建议在 Windows 的高级系统设置中，将 虚拟内存（分页文件） 设置在最快的 SSD 上，并手动指定大小。
推荐值 ：对于显存较低的用户，推荐设置至少 40GB (40960 MB) 的分页文件。这能确保在模型交替加载（如从 Large 切换到 Medium）时系统不会因为瞬间的高内存需求而蓝屏或崩溃。

显示器设置的"避坑指南"

一个常被忽视的细节是：高分辨率、高刷新率的屏幕会消耗显存带宽。

带宽争抢：运行 4K @ 120Hz 的显示器本身会占用显卡显著的计算余量和显存。
实战技巧：在进行大规模批量生成任务时，尝试将显示器分辨率降至 1080p，或关闭显示器刷新率同步 (G-Sync)，有时能为 AI 推理"挤"出可感知的 IT/s (每秒迭代步数) 提升。

代码实战：低显存环境下的极致优化调用

以下代码展示了如何在 Python 中结合 4-bit 量化 、T5 编码器 CPU 卸载 以及 NF4 精度 来运行 SD 3.5 Large：

python 复制代码

import torch
from diffusers import StableDiffusion3Pipeline, BitsAndBytesConfig, SD3Transformer2DModel
from transformers import T5EncoderModel

# 1. 显存优化配置：使用 NF4 精度压缩主模型
model_id = "stabilityai/stable-diffusion-3.5-large"
nf4_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

# 2. 独立加载量化后的文本编码器 (T5-XXL) 以节省空间
text_encoder_8bit = T5EncoderModel.from_pretrained(
    model_id, 
    subfolder="text_encoder_3", 
    quantization_config=BitsAndBytesConfig(load_in_8bit=True),
    torch_dtype=torch.float16
)

# 3. 初始化管线
pipe = StableDiffusion3Pipeline.from_pretrained(
    model_id,
    text_encoder_3=text_encoder_8bit,
    torch_dtype=torch.bfloat16,
    device_map="balanced"  # 自动平衡显存分布
)

# 4. 关键优化：开启 CPU 卸载模式
# 这会将模型组件仅在需要时移入 GPU，极大降低峰值显存需求
pipe.enable_model_cpu_offload()

# 执行生成
image = pipe(
    prompt="A surreal digital art of a floating island made of crystal, 8k resolution, photorealistic",
    num_inference_steps=28,
    guidance_scale=4.5
).images

image.save("low_vram_output.png")

硬件选购建议类比

如果将 AI 生成比作大厨炒菜：

VRAM 显存 就像是你的灶台面积。如果灶台不够大（显存小），你就得把切好的菜分批放（CPU Offloading），或者把大盘子换成小碗（量化）。
RTX 40/50 的 FP8 加速 就像是给灶台装了喷气炉头。虽然火力（核心数）没变，但能量利用率极高，炒菜速度瞬间翻倍。
虚拟内存 就像是厨房旁边的储物间。虽然拿东西不如手边快，但在灶台摆不下时，它是防止厨房瘫痪（软件崩溃）的最后防线。