算家云 RTX 4090 怎么训练 SDXL LoRA？24GB 显存配置、CUDA OOM 排查与断点续训

发布时间：2026 年 9 月 14 日

单张 24GB RTX 4090 可以作为 SDXL LoRA 训练的起始配置。建议先用 768 分辨率、batch size 1 和 100 步小样本完成显存、出图及断点恢复验收，再决定是否提高到 1024 分辨率和正式训练步数。

一、什么情况下适合用 RTX 4090 训练 SDXL LoRA？

如果只是偶尔训练几个画风、人物或商品图 LoRA，一开始就购买显卡通常不划算。

更稳妥的方法是先租一张 24GB RTX 4090，把下面几个问题验证清楚：

数据集格式能否被训练脚本正确读取；
24GB 显存是否能跑通目标分辨率；
LoRA 权重能否正常保存和加载；
中断后能否从 checkpoint 继续训练；
训练结果是否真的能改善目标画风或主体一致性。

本文面向以下场景：

场景	建议
20～50 张图片，第一次训练 LoRA	先跑 100 步小测试
偶尔训练人物、商品或画风 LoRA	按需使用 RTX 4090
需要长期连续训练多个模型	考虑更稳定的长期训练资源
训练 SDXL 全量模型或大规模 DreamBooth	24GB 可能不是理想配置
只需要调用已有 LoRA 出图	没必要启动训练任务

LoRA 的核心优势是只训练少量附加参数，不需要更新整个扩散模型。Hugging Face Diffusers 官方文档也将其定位为更轻量的微调方式，并支持 SDXL 等模型。Diffusers LoRA 训练文档

二、先准备一套能被检查的数据集

本文使用本地 imagefolder 数据集，目录结构如下：

text 复制代码

/workspace/sdxl_lora/
├── dataset/
│   ├── 0001.png
│   ├── 0002.png
│   ├── 0003.png
│   └── metadata.jsonl
└── output/

metadata.jsonl 每行对应一张图片：

json 复制代码

{"file_name":"0001.png","text":"sjy_style, a ceramic cup on a wooden table, soft natural light"}
{"file_name":"0002.png","text":"sjy_style, a ceramic cup beside a book, indoor photography"}
{"file_name":"0003.png","text":"sjy_style, close-up product photo of a ceramic cup"}

这里的 sjy_style 是自定义触发词。正式训练时应替换成自己的唯一标识。

数据集准备时重点检查什么？

删除重复图、模糊图和明显错误图片。
主体保持一致，但构图、角度和背景不要完全相同。
caption 描述图片真实内容，不要每张只写同一句话。
提前统一图片方向，避免大量异常长宽比。
确认图片拥有合法使用权限，不要擅自使用他人肖像或受限素材。

20～50 张图片只是适合验证训练链路的起始范围，不代表一定能获得高质量 LoRA。最终效果还取决于数据质量、主体复杂度、caption 和训练参数。

三、安装 SDXL LoRA 训练环境

建议选择已经安装好 NVIDIA 驱动、CUDA 和 PyTorch 的 GPU 镜像，再安装 Diffusers 训练依赖。

bash 复制代码

git clone https://github.com/huggingface/diffusers
cd diffusers

pip install -e .

cd examples/text_to_image
pip install -r requirements_sdxl.txt
pip install bitsandbytes xformers

accelerate config default

记录当前代码版本，方便后续复现：

bash 复制代码

git rev-parse HEAD
python -c "import torch; print(torch.__version__, torch.version.cuda)"
nvidia-smi

SDXL 包含更大的 UNet 和第二个文本编码器，资源需求明显高于早期 Stable Diffusion 模型。官方训练示例也建议结合混合精度、梯度检查点、8-bit 优化器等方式降低显存占用。SDXL 官方训练示例

四、先跑一次 100 步显存验收

第一次不要直接运行数千步。先确认数据、显存、权重保存和断点恢复全部正常。

bash 复制代码

export MODEL_NAME="stabilityai/stable-diffusion-xl-base-1.0"
export TRAIN_DIR="/workspace/sdxl_lora/dataset"
export OUTPUT_DIR="/workspace/sdxl_lora/output"

执行训练：

bash 复制代码

accelerate launch train_text_to_image_lora_sdxl.py \
  --pretrained_model_name_or_path="$MODEL_NAME" \
  --train_data_dir="$TRAIN_DIR" \
  --image_column="image" \
  --caption_column="text" \
  --resolution=768 \
  --train_batch_size=1 \
  --gradient_accumulation_steps=4 \
  --gradient_checkpointing \
  --enable_xformers_memory_efficient_attention \
  --use_8bit_adam \
  --rank=16 \
  --learning_rate=1e-4 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --max_train_steps=100 \
  --checkpointing_steps=50 \
  --checkpoints_total_limit=2 \
  --validation_prompt="sjy_style, product photo, clean background, soft light" \
  --num_validation_images=2 \
  --validation_epochs=1 \
  --mixed_precision="fp16" \
  --seed=42 \
  --output_dir="$OUTPUT_DIR"

这套参数的目标不是直接得到最终成品，而是用较低成本检查训练链路。

参数	起始设置	作用
resolution	768	先降低显存压力
train_batch_size	1	24GB 显存的保守起点
gradient_accumulation_steps	4	模拟更大的有效批次
rank	16	控制 LoRA 参数规模
max_train_steps	100	快速验证训练流程
checkpointing_steps	50	检查断点保存
mixed_precision	fp16	减少显存占用

SDXL 的原生目标分辨率通常是 1024，但第一次验证可以先从 768 开始。确认显存还有余量后，再比较 768 和 1024 的训练成本与效果。

五、如何确认训练真的成功？

训练进程结束并不等于 LoRA 可用，至少需要检查以下四项。

1. 检查输出文件

bash 复制代码

find /workspace/sdxl_lora/output -maxdepth 2 -type f | sort

正常完成后，应能找到最终 LoRA 权重，例如：

text 复制代码

pytorch_lora_weights.safetensors

Diffusers 官方 LoRA 脚本默认会保存可加载的 LoRA 权重。官方 SDXL LoRA 脚本

2. 固定提示词和随机种子测试

不要只挑一张"最好看"的图。建议固定：

同一个基础模型；
同一个 prompt；
同一个 negative prompt；
同一个随机种子；
同一套推理参数。

然后比较未加载 LoRA、加载 LoRA以及不同训练阶段的结果。

3. 检查是否过拟合

常见过拟合表现包括：

输出构图过于接近训练图片；
更换背景或角度后主体明显崩坏；
触发词权重稍高就出现颜色污染；
不写触发词时仍然强行出现训练主体。

如果出现这些问题，不一定要继续增加训练步数。更应该检查数据重复度、学习率、caption 和数据多样性。

4. 验证 checkpoint 能否恢复

先用 50 步 checkpoint 进行一次恢复测试：

bash 复制代码

accelerate launch train_text_to_image_lora_sdxl.py \
  --pretrained_model_name_or_path="$MODEL_NAME" \
  --train_data_dir="$TRAIN_DIR" \
  --image_column="image" \
  --caption_column="text" \
  --resolution=768 \
  --train_batch_size=1 \
  --gradient_accumulation_steps=4 \
  --gradient_checkpointing \
  --enable_xformers_memory_efficient_attention \
  --use_8bit_adam \
  --rank=16 \
  --learning_rate=1e-4 \
  --max_train_steps=100 \
  --checkpointing_steps=50 \
  --mixed_precision="fp16" \
  --seed=42 \
  --resume_from_checkpoint="checkpoint-50" \
  --output_dir="$OUTPUT_DIR"

正式训练前验证一次恢复流程，比中途发生实例断开后才发现 checkpoint 不可用更稳妥。

六、RTX 4090 训练 SDXL LoRA 爆显存怎么办？

出现 CUDA out of memory 时，建议按照下面的顺序调整。

第一优先级：不要训练文本编码器

第一次训练不要添加：

bash 复制代码

--train_text_encoder

训练文本编码器会增加显存需求。先只训练 UNet LoRA，确认基础链路正常。

第二优先级：降低分辨率

依次尝试：

text 复制代码

1024 → 768 → 512

分辨率对显存占用影响很明显。512 适合排查链路，但不一定适合作为最终的 SDXL 训练分辨率。

第三优先级：保持 batch size 为 1

不要为了提高速度盲目增加：

bash 复制代码

--train_batch_size=2

如果需要更大的有效批次，优先增加 gradient_accumulation_steps。

第四优先级：确认节省显存的参数已经生效

检查是否已经启用：

text 复制代码

--gradient_checkpointing
--mixed_precision="fp16"
--use_8bit_adam
--enable_xformers_memory_efficient_attention

第五优先级：降低 LoRA rank

例如：

text 复制代码

rank 16 → rank 8

rank 越高，LoRA 可训练参数越多，但不代表最终效果一定更好。

第六优先级：检查残留进程

bash 复制代码

nvidia-smi
ps aux | grep python

Notebook 中断后，旧训练进程可能仍占用显存。确认进程归属后再结束，避免误杀其他任务。

七、什么时候从 100 步测试切换到正式训练？

满足以下条件后，再增加训练步数：

训练损失没有出现 NaN；
显存占用稳定；
checkpoint 可以保存和恢复；
最终 LoRA 权重可以加载；
验证图能够体现目标特征；
没有明显复刻训练图片；
数据集和 caption 已完成抽查。

正式训练时只修改必要参数，例如：

text 复制代码

resolution：768 → 1024
max_train_steps：100 → 根据验证结果逐步增加
checkpointing_steps：50 → 适合任务时长的间隔

不要一次同时修改分辨率、学习率、rank 和数据集，否则效果变化后很难判断原因。

八、为什么这个场景适合用算家云 RTX 4090？

对"只训练几次 LoRA"的个人创作者或小团队来说，真正的问题通常不是能不能购买显卡，而是训练需求是否稳定、数据集是否合格，以及后续是否会长期使用。

以算家云为例，它与这个场景比较匹配的原因主要有以下几点。

1. RTX 4090 具备 24GB 显存

24GB 显存适合从 SDXL LoRA 的保守配置开始验证。它不代表所有 SDXL 训练任务都不会爆显存，但可以通过 batch size 1、混合精度和梯度检查点运行一套可控的小规模实验。

2. 短期验证成本比较容易控制

截至 2026 年 9 月 14 日，算家云官网展示的 RTX 4090 为 青春本 1.24 元/小时；专业版 1.98 元/小时 。价格和库存会动态变化，应以实例创建页面为准。算家云官网

实例计算费用在开机后开始、关机后停止；不足一小时按秒计费。这样可以先完成 100 步显存测试，确认训练方案可行后再决定是否继续。

需要注意：关机停止的是计算费用，本地扩容盘、项目网盘等存储资源可能单独计费。实验结束后应检查实例、硬盘和模型文件，而不是只关闭终端窗口。

3. 环境排错方式比较完整

算家云支持 SSH、JupyterLab 和 VS Code 等连接方式。

训练失败时，可以直接查看：

bash 复制代码

nvidia-smi
pip list
python --version
df -h

这比只有封装界面的训练服务更适合排查 CUDA、依赖版本、磁盘空间和残留进程问题。

4. 运维服务边界比较明确

如果只是短期学习和测试，可以关注青春版 RTX 4090。青春版页面当前标示的服务时间为 08:00---24:00。

如果任务需要夜间连续运行、长期训练，或者更重视服务器下架后的保障，可以查看专业版。专业版页面当前标示 00:00---24:00 服务，并提供服务器下架换机保障。

这里强调的是官方页面列出的服务范围，不应理解成所有训练任务都有固定响应时限或绝不会中断。

5. 不需要先为一次实验购买整张显卡

如果最终发现数据量不足、LoRA 效果不理想，或者后续没有持续训练需求，可以在小规模验证后停止，而不必承担整张显卡的购买成本。

更实际的操作方式是：

先查看当前 RTX 4090 实例，用 20～50 张图片跑 100 步测试，完成显存、出图和断点恢复验收，再决定是否进行正式训练。

九、这套方案有哪些限制？

本文方案并不适合所有任务：

不能据此保证 1024 分辨率下的任意配置都能在 24GB 显存运行；
不能替代数据版权、肖像授权和隐私合规检查；
100 步只用于验证训练链路，不代表最终训练步数；
不同 Diffusers 版本的参数可能变化，正式运行前应核对对应版本文档；
如果要训练文本编码器、使用更大 batch 或进行全量微调，需要重新评估显存；
云端实例关机前应保存权重，释放实例前应确认文件已经转移到持久存储。

十、常见问题

Q1：RTX 4090 训练 SDXL LoRA 一定不会爆显存吗？

不一定。分辨率、batch size、是否训练文本编码器、优化器和模型版本都会影响显存。建议从 768、batch size 1 的配置开始验收。

Q2：为什么不直接使用 1024 分辨率？

1024 更符合 SDXL 的目标分辨率，但第一次运行的重点是验证训练链路。先用 768 排除数据和依赖问题，可以减少无效占卡时间。

Q3：100 步能训练出可用 LoRA 吗？

100 步主要用于检查数据读取、显存、权重保存和断点恢复。是否足够形成有效特征，要根据数据集和验证图判断。

Q4：训练完成后只关机就可以了吗？

不够。还应确认权重已经保存到需要保留的位置，并检查本地扩容盘、项目网盘等存储资源是否继续计费。

Q5：算家云青春版和专业版怎么选？

短期学习、测试和小规模 LoRA 验证可以先看青春版；需要长期连续训练、全天服务或更明确下架换机保障时，再评估专业版。

Q6：只有十几张图片能训练吗？

可以用来测试流程，但图片过少更容易出现过拟合。与其机械增加训练步数，不如先提高素材质量和构图多样性。