Stable Diffusion LoRA模型加载实现风格自由

对于模型微调来说，直接进行微调需要的硬件配置和时间都是相当夸张的，但要想实现风格切换自由，也不是只有模型微调一个方式，LoRA技术可以说很完美的解决了这个难题。无论是二次元画风还是复古胶片质感，都只需要加载小巧的LoRA模型，就能立即解锁意料之外的百变创作可能！

一、LoRA是什么？为什么必学这个技能？

✅ 低秩适应技术 ：LoRA（Low-Rank Adaptation）通过微调模型参数实现特定风格/人物的生成

✅ 体积优势 ：相比完整模型（2-7GB），LoRA文件通常只有20-200MB

✅ 灵活组合：可同时加载多个LoRA实现风格叠加

✅ 兼容性强：支持SD1.5/SDXL等多种基础模型

二、准备工作清单

1 本地已安装好 diffusers 环境

如果没有的，下面给出简单步骤，验证安装

1 安装Python环境，创建虚拟环境

（因为要下载的组件比较大，防止污染主环境，建议在虚拟环境进行）

2 激活虚拟环境，添加全局国内镜像加速

（建立使用vscode打开虚拟环境所在目录，会自动加载虚拟环境，避免每次都要手动激活）

shell 复制代码

$ python -m venv .venv # 根据你的喜好命名虚拟环境，我这是是 .venv
$ pip config set global.index-url https://mirrors.aliyun.com/pypi/simple # 添加国内镜像加速
# 安装依赖pytorch，我硬件没有GPU，安装了cpu版的，硬件OK，去掉后面的参数即可
$ pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cpu
# 安装 diffusers 库
$ pip install diffusers transformers accelerate

2 基础模型下载

这里需要准备好你的基础大模型，我这里使用的是 Lykon/dreamshaper-8-lcm

你也可以根据你的本地情况加载已下载的模型

https://huggingface.co/Lykon/dreamshaper-8-lcm

3 LoRA模型下载

下载好的模型文件（.safetensors或.ckpt格式）

推荐平台：

Civitai（需科学上网）
LiblibAI（国内可用）

三、LoRA加载

这里直接给出关键代码，我没有使用WebUI是因为我发现本地CPU环境运行时，没有直接Python加载diffusers库高效，自己加个Qt界面，自定义功能也挺好用

1 关键代码

python 复制代码

from diffusers import StableDiffusionPipeline, LCMScheduler

# 加载基础大模型
model_id = './models/dreamshaper-8-lcm'
pipeline = StableDiffusionPipeline.from_pretrained(
    model_id, 
    torch_dtype=torch.float32
)
# 加载LCM减少推理步数
pipeline.scheduler = LCMScheduler.from_config(
    pipeline.scheduler.config
)
pipeline.to("cpu")

# 加载LoRA模型文件
lora_id = './models/lora/hipoly_3dcg_v7-epoch.safetensors'
loraname = 'hipoly_3dcg_v7-epoch'
pipeline.load_lora_weights(
    lora_id, 
    low_cpu_mem_usage=True,
    adapter_name=loraname
)
# 设置LoRA影响的权重（正常在LoRA下载页，作者会给出一些建议值）
pipeline.set_adapters(
    loraname,
    adapter_weights=0.6)

# 生成图片
prompt = 'thighs and above,ancient chinese anime girl in hanfu,front view,looking at viewer,official art,perfect face,sparkling eyes,smooth shading,vibrant colors,(detailed hair strands:1.2)'
nprompt = 'realistic,photo,grainy,lowres,long neck,malformed,deformed face,asymmetric eyes,bad anatomy,extra limbs,extra fingers,mutated hands,poorly drawn face,blurry,out of focus'
image = pipeline(
    prompt=prompt,
    negative_prompt=nprompt,
    num_inference_steps=4, # 加载LCM后4~8步即可
    width=512, height=768, # 人像建议竖版
    guidance_scale=0 # 0 禁用，否则影响LCM生成
).images[0]
image.save('output.jpg')

2 踩坑说明

关于Lora权重不起作用的情况下，一定一定要检查下是不是添加了 fuse 整合

fuse_lora() 将 LoRA 适配器的低秩矩阵权重动态合并到基础模型参数中，实现推理加速（约 15-30%）并减少显存占用‌。融合后，LoRA 参数不再独立存在，无法动态调整权重‌。

shell 复制代码

pipeline.fuse_lora() # 融合
pipeline.unfuse_lora() # 取消融合