训练自己的个性化Stable diffusion模型,LORA

一、背景

需要训练自己的LORA模型

二、分析

1、有sd-webui有训练插件功能

2、有单独的LORA训练开源web界面

两个开源训练界面

1、秋叶写的SD-Trainer

https://github.com/Akegarasu/lora-scripts/ 没成功,主要也是cudnn和nvidia-smi中的CUDA版本不一致退出

2、Kohya's GUI

GitHub - bmaltais/kohya_ss 成功了

**遇到问题1,**cudnn和nvidia-smi中的CUDA版本不一致

解决方法:unset LD_LIBRARY_PATH解决了我的问题

问题2:报错量化错误

优化器Optimizer 选 :AdamW

三、步骤

1、下载代码

复制代码
git clone https://github.com/bmaltais/kohya_ss.git

2、有Python 3.10.8环境

复制代码
cd kohya_ss

chmod +x ./setup.sh

./setup.sh

./gui.sh --listen=0.0.0.0 --headless

不要自己去安装python包,巨坑。

3、准备数据

下载该数据

https://huggingface.co/datasets/lambdalabs/pokemon-blip-captions/tree/main

复制代码
#安装处理该数据的包
# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastparquet
# pip install pyarrow

from fastparquet import ParquetFile
datadir = r'./'
filename = datadir + r'下载的数据.parquet'
pf = ParquetFile(filename)

dF = pf.to_pandas()

from PIL import Image
import io
import base64


# 将byte数据转换为PIL图像对象
def save_png(name,image_bytes):
    image = Image.open(io.BytesIO(image_bytes))

    # 保存图像到文件
    filename = 'lora_data/'+str(name)+'.jpg'
    print(filename)
    # 调整尺寸
    new_image = image.resize((512, 512))
    new_image.save(filename)
def save_txt(name,text):
    # text = "这是要保存的文本内容"
    filename = 'lora_data/'+str(name)+'.txt'
    with open(filename, 'w') as file:
        file.write(text)
保存数据的
for index, row in dF.iterrows():
    # print(index,row['text'],row['image.bytes']) # 输出列名
    save_txt(index,row['text'])
    save_png(index,row['image.bytes'])
    if index==20:
        break

4、创建数据目录

在kohya_ss项目下,创建一个train目录,具体内容如下:

image : 图片放在这里。

log:训练记录

model:模型保存路径

image目录还有一个子目录,比如本文这里是100_pokemon,100表示100个steps,会直接影响训练的步数和效果,pokemon表示图片人物名称。

5、训练

训练数据目录填 /home/.../image 不要写到/home/.../image/100_pokemon

基础模型写全/media/...../openjourney-v4.ckpt

一定可以训练成功的,有数据有模型有步骤,不清楚可以联系我

相关推荐
音视频牛哥22 分钟前
如何打造毫秒级响应的RTSP播放器:架构拆解与实战优化指南
人工智能·机器人·音视频开发
张较瘦_30 分钟前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程
go546315846533 分钟前
Python点阵字生成与优化:从基础实现到高级渲染技术
开发语言·人工智能·python·深度学习·分类·数据挖掘
Coovally AI模型快速验证43 分钟前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
人工智能·深度学习·yolo·计算机视觉·目标跟踪·无人机
巫婆理发2221 小时前
神经网络(第二课第一周)
人工智能·深度学习·神经网络
欧阳小猜2 小时前
OpenCV-图像预处理➁【图像插值方法、边缘填充策略、图像矫正、掩膜应用、水印添加,图像的噪点消除】
人工智能·opencv·计算机视觉
旭日东升的xu.2 小时前
OpenCV(04)梯度处理,边缘检测,绘制轮廓,凸包特征检测,轮廓特征查找
人工智能·opencv·计算机视觉
liliangcsdn2 小时前
mac测试ollama llamaindex
数据仓库·人工智能·prompt·llama
qyhua2 小时前
Windows 平台源码部署 Dify教程(不依赖 Docker)
人工智能·windows·python
DisonTangor2 小时前
Mistral AI开源 Magistral-Small-2507
人工智能·语言模型·开源·aigc