Stable Diffusion XL之核心基础内容

Stable Diffusion XL之核心基础内容

• [一. Stable Diffusion XL核心基础内容](#一. Stable Diffusion XL核心基础内容)
• • [1.1 Stable Diffusion XL的主要优化](#1.1 Stable Diffusion XL的主要优化)

一. Stable Diffusion XL核心基础内容

1.1 Stable Diffusion XL的主要优化

与Stable Diffusion 1.x-2.x相比，Stable Diffusion XL主要进行如下的优化：

1. 对Stable Diffusion 1.x-2.x的U-Net，VAE，CLIP Text Encoder三大核心模型都做了改进。
2. 增加一个独立的基于Latent的Refiner模型，也是一个扩散模型，用来提升生成图像的精细化程度。
3. 设计了很多训练Tricks，包括图像尺寸条件化策略、图像裁剪参数条件化策略以及多尺度训练策略等。
4. 先发布Stable Diffusion XL 0.9测试版本，基于用户的使用体验和图片生成的反馈情况，针对性增加数据集和使用RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）技术优化训练后，推出了Stable Diffusion XL 1.0正式版。