stable diffusion系列(1)------概述

本文是对李宏毅老师的课程的总结,B站链接如下:
stable diffusion(1)概述

讲最经典的DDPM。

1. DDPM图像生成是一个多个step的去噪过程

DDPM是一个从噪声图像中通过不断去噪(经过很多个step),生成图像的过程。

"雕像本来就已经存在石头里,只是把多余的去掉。"

问题是,这么多个step用的是同一个去噪模型吗?是的!!!但是不同的step含有的噪声大小是不一样的,所以,去噪模型还需要知道是哪个step(噪声的大小程度)。

2. 去噪模型内部机制

(1)有一个噪声预测模型(Noise Predicter),输入时带有噪声的图片和当前的step代号,输出是该图片含有的噪声

(2)带有噪声的图片减去预测的噪声

3. 如何训练这个噪声预测模型?

这个训练过程肯定需要当前这个step的噪声作为ground truth

这个ground truth其实是自己加的。这需要一个前向加噪的过程(扩散过程)。

4. 把文本加进来

需要图像文本对,LAION图像文本对5.85B

把文本输入到去噪模型中,让模型根据文本去噪。

把文本输入到去噪模型中,实际上也就是输入到噪声预测模型中.

相关推荐
起个名字总是说已存在1 天前
stable-diffusion安装EasyPhoto启动报错解决
stable diffusion·ai绘画
微学AI2 天前
内网穿透的应用-摆脱局域网!Stable Diffusion3.5 结合cpolar使用更方便
docker·stable diffusion·内网穿透
陈苏同学2 天前
Diffusion 到 Flow Matching ( 从 DDPM 到 Stable Diffusion ) 丝滑入门
stable diffusion
CaracalTiger2 天前
本地部署 Stable Diffusion3.5!cpolar让远程访问很简单!
java·linux·运维·开发语言·python·微信·stable diffusion
ai_xiaogui2 天前
AIStarter跨平台完工:Win/Mac/Linux一键部署Stable Diffusion
linux·macos·stable diffusion·aistarter·kritaai·跨平台部署
Coovally AI模型快速验证8 天前
未来已来:从 CVPR & ICCV 观察 2025→2026 年计算机视觉的七大走向
人工智能·深度学习·目标检测·计算机视觉·stable diffusion
Brianna Home10 天前
大模型如何变身金融风控专家
人工智能·深度学习·机器学习·自然语言处理·stable diffusion·1024程序员节
leafff12311 天前
新手入坑 Stable Diffusion:模型、LoRA、硬件一篇讲透
人工智能·计算机视觉·stable diffusion
喆星时瑜15 天前
ComfyUI本地部署Stable Diffusion:核心组件(Python、PyTorch、CUDA)版本与显卡配置全指南
pytorch·python·stable diffusion
CV视觉16 天前
智能体综述:探索基于大型语言模型的智能体:定义、方法与前景
人工智能·语言模型·chatgpt·stable diffusion·prompt·aigc·agi