stable diffusion系列(1)------概述

本文是对李宏毅老师的课程的总结,B站链接如下:
stable diffusion(1)概述

讲最经典的DDPM。

1. DDPM图像生成是一个多个step的去噪过程

DDPM是一个从噪声图像中通过不断去噪(经过很多个step),生成图像的过程。

"雕像本来就已经存在石头里,只是把多余的去掉。"

问题是,这么多个step用的是同一个去噪模型吗?是的!!!但是不同的step含有的噪声大小是不一样的,所以,去噪模型还需要知道是哪个step(噪声的大小程度)。

2. 去噪模型内部机制

(1)有一个噪声预测模型(Noise Predicter),输入时带有噪声的图片和当前的step代号,输出是该图片含有的噪声

(2)带有噪声的图片减去预测的噪声

3. 如何训练这个噪声预测模型?

这个训练过程肯定需要当前这个step的噪声作为ground truth

这个ground truth其实是自己加的。这需要一个前向加噪的过程(扩散过程)。

4. 把文本加进来

需要图像文本对,LAION图像文本对5.85B

把文本输入到去噪模型中,让模型根据文本去噪。

把文本输入到去噪模型中,实际上也就是输入到噪声预测模型中.

相关推荐
一只大侠的侠1 小时前
Stable Diffusion 3.5 FP8文生图技术深度解析与应用探索
stable diffusion
吐个泡泡v3 小时前
Stable Diffusion WebUI云部署
ai·stable diffusion·sd webui·linux部署
love530love4 小时前
【笔记】ComfyUI 启动时端口被占用(PermissionError [winerror 10013])解决方案
人工智能·windows·笔记·stable diffusion·aigc·端口·comfyui
码农进厂打螺丝1 天前
Stable Diffusion 3.5 FP8:量化优化与部署实践
人工智能·计算机视觉·stable diffusion
无心水1 天前
【Stable Diffusion 3.5 FP8】8、生产级保障:Stable Diffusion 3.5 FP8 伦理安全与问题排查
人工智能·python·安全·docker·stable diffusion·ai镜像开发·镜像实战开发
tap.AI1 天前
(五)Stable Diffusion 3.5-LoRA 适配、ControlNet 与模型微调
人工智能·stable diffusion
想你依然心痛1 天前
AI镜像开发实战:Stable Diffusion 3.5 FP8文生图技术深度解析与应用探索
人工智能·stable diffusion
weixin_402939992 天前
【大模型】stable-diffusion-3.0和3.5模型训练
深度学习·stable diffusion
tap.AI2 天前
(四)Stable Diffusion 3.5-WebUI Forge 与 SwarmUI 实战
stable diffusion
lbb 小魔仙2 天前
FP8赋能高效生成:Stable Diffusion 3.5架构解析与落地优化指南
stable diffusion·架构