Stable Diffusion LoRA模型加载实现风格自由

对于模型微调来说,直接进行微调需要的硬件配置和时间都是相当夸张的,但要想实现风格切换自由,也不是只有模型微调一个方式,LoRA技术可以说很完美的解决了这个难题。无论是二次元画风还是复古胶片质感,都只需要加载小巧的LoRA模型,就能立即解锁意料之外的百变创作可能!

一、LoRA是什么?为什么必学这个技能?

低秩适应技术 :LoRA(Low-Rank Adaptation)通过微调模型参数实现特定风格/人物的生成

体积优势 :相比完整模型(2-7GB),LoRA文件通常只有20-200MB

灵活组合:可同时加载多个LoRA实现风格叠加

兼容性强:支持SD1.5/SDXL等多种基础模型

二、准备工作清单

1 本地已安装好 diffusers 环境

如果没有的,下面给出简单步骤,验证安装

1 安装Python环境,创建虚拟环境

(因为要下载的组件比较大,防止污染主环境,建议在虚拟环境进行)

2 激活虚拟环境,添加全局国内镜像加速

(建立使用vscode打开虚拟环境所在目录,会自动加载虚拟环境,避免每次都要手动激活)

shell 复制代码
$ python -m venv .venv # 根据你的喜好命名虚拟环境,我这是是 .venv
$ pip config set global.index-url https://mirrors.aliyun.com/pypi/simple # 添加国内镜像加速
# 安装依赖pytorch,我硬件没有GPU,安装了cpu版的,硬件OK,去掉后面的参数即可
$ pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cpu
# 安装 diffusers 库
$ pip install diffusers transformers accelerate

2 基础模型下载

这里需要准备好你的基础大模型,我这里使用的是 Lykon/dreamshaper-8-lcm

你也可以根据你的本地情况加载已下载的模型

https://huggingface.co/Lykon/dreamshaper-8-lcm

3 LoRA模型下载

下载好的 模型文件(.safetensors.ckpt格式)

推荐平台:

  • Civitai(需科学上网)
  • LiblibAI(国内可用)

三、LoRA加载

这里直接给出关键代码,我没有使用WebUI是因为我发现本地CPU环境运行时,没有直接Python加载diffusers库高效,自己加个Qt界面,自定义功能也挺好用

1 关键代码

python 复制代码
from diffusers import StableDiffusionPipeline, LCMScheduler

# 加载基础大模型
model_id = './models/dreamshaper-8-lcm'
pipeline = StableDiffusionPipeline.from_pretrained(
    model_id, 
    torch_dtype=torch.float32
)
# 加载LCM减少推理步数
pipeline.scheduler = LCMScheduler.from_config(
    pipeline.scheduler.config
)
pipeline.to("cpu")

# 加载LoRA模型文件
lora_id = './models/lora/hipoly_3dcg_v7-epoch.safetensors'
loraname = 'hipoly_3dcg_v7-epoch'
pipeline.load_lora_weights(
    lora_id, 
    low_cpu_mem_usage=True,
    adapter_name=loraname
)
# 设置LoRA影响的权重(正常在LoRA下载页,作者会给出一些建议值)
pipeline.set_adapters(
    loraname,
    adapter_weights=0.6)

# 生成图片
prompt = 'thighs and above,ancient chinese anime girl in hanfu,front view,looking at viewer,official art,perfect face,sparkling eyes,smooth shading,vibrant colors,(detailed hair strands:1.2)'
nprompt = 'realistic,photo,grainy,lowres,long neck,malformed,deformed face,asymmetric eyes,bad anatomy,extra limbs,extra fingers,mutated hands,poorly drawn face,blurry,out of focus'
image = pipeline(
    prompt=prompt,
    negative_prompt=nprompt,
    num_inference_steps=4, # 加载LCM后4~8步即可
    width=512, height=768, # 人像建议竖版
    guidance_scale=0 # 0 禁用,否则影响LCM生成
).images[0]
image.save('output.jpg')

2 踩坑说明

关于Lora权重不起作用的情况下,一定一定要检查下是不是添加了 fuse 整合

fuse_lora() 将 LoRA 适配器的低秩矩阵权重动态合并到基础模型参数中,实现推理加速(约 15-30%)并减少显存占用‌。融合后,LoRA 参数不再独立存在,无法动态调整权重‌。

shell 复制代码
pipeline.fuse_lora() # 融合
pipeline.unfuse_lora() # 取消融合
相关推荐
新子y14 小时前
《代码的“言外之意”:从词源学透彻理解编程》字符的“双重生活”:从Escape到Raw
笔记·python
带刺的坐椅14 小时前
Solon v3.4.6, v3.5.4, v3.6.0-M1 发布。正式开始 LTS 计划
java·spring·ai·web·solon·mcp
TH888614 小时前
大田作物四情监测系统:集物联网、大数据、人工智能等技术于一体的智慧农业管理系统
python
MATLAB代码顾问14 小时前
Python实现星雀优化算法(Nutcracker Optimizer Algorithm, NOA) (附完整代码)
大数据·python·excel
守城小轩14 小时前
从零开始学习n8n-一文读懂n8n
ai·n8n
Learn Beyond Limits14 小时前
Choosing the Number of Clusters|选择聚类的个数
人工智能·深度学习·神经网络·机器学习·ai·聚类·吴恩达
带娃的IT创业者15 小时前
从零构建智能HTML转Markdown转换器:Python GUI开发实战
android·python·html
爱隐身的官人15 小时前
Weblogic XMLDecoder 反序列化漏洞(CVE-2017-10271)
python·web安全·weblogic
偷心伊普西隆15 小时前
Python Excel 比较 sheet 之间的差异
python·excel
曾经的三心草15 小时前
基于阿里云系列平台的python微服务设计与DevOps实践
python·阿里云·微服务