diffusion model是如何运作的
会输入当时noise的严重程度,根据我们的输入来确定在第几个step,并做出不同的回应。
Denoise模组内部实际做的事情
产生一张图片和产生noise难度是不一样的,若denoise 模块产生一只带噪声的猫说明这个模块已经会画一只猫,所以产生一只带噪声的猫和产生图片中死亡噪声难度是不一样的
![](https://file.jishuzhan.net/article/1796679442668457986/e87ca482007b218cce9f1b5928b3dd4e.webp)
如何训练noise predictor
![](https://file.jishuzhan.net/article/1796679442668457986/d0de61fcee5959f7b12a5487a2e31e18.webp)
输入这张图片和step id 然后产生出一个预测中的噪声,但为了产生预测中的噪声,则需要输入这张图片的噪声是什么样子,才会学习如何把噪声输出。
noise predictor 的训练资料是人们创造出来的
![](https://file.jishuzhan.net/article/1796679442668457986/1d695c09cf5b344a2ebe11251536ebe4.webp)
Text-to-Image
![](https://file.jishuzhan.net/article/1796679442668457986/ef3031d2716a54e715ca0912dbbf102a.webp)
![](https://file.jishuzhan.net/article/1796679442668457986/468e24cbabdb9be3c9bc5b942ba9b3a6.webp)
![](https://file.jishuzhan.net/article/1796679442668457986/8933cf2b7d2469e6d12331fec8e2b66b.webp)
Stable Diffusion
内部有三个元件
1、Text Encoder:好的文字的encoder,会把一段文字变成向量
2、Generation Model:可以用其他model(如diffusion Model),用一个粉红色的矩阵表示以恶搞噪声,将噪声与文字的encode产生一个中间产物(为一张图片被压缩后的结果)
3、Decoder:把图片压缩后的版本还原成原图
![](https://file.jishuzhan.net/article/1796679442668457986/f9248f33784cb0f81c208e1ed9d4206d.webp)
第一元件:如何评估影像生成的模型好坏(常用FID Frechet Inception Distance)
![](https://file.jishuzhan.net/article/1796679442668457986/5de87e56343e3117fbc59c0ccc42d3e0.webp)
若这两组越接近,则表示生成的影像与原图更接近。
FID需要许多的图片
第三元件:它训练不需要文字的输入,可任意单凭影像的输入自动训练decoder
中间产物为:压缩后的图片
![](https://file.jishuzhan.net/article/1796679442668457986/3e365da38c12b22f4a284fa32b83d809.webp)
中间产物为:Latent Representation ,则应该如何训练decoder,把其还原成图片
![](https://file.jishuzhan.net/article/1796679442668457986/97b8251f3e847b053e42282bd1280d5e.webp)
需要训练一个Auto-encoder ,过程如下图所示:
![](https://file.jishuzhan.net/article/1796679442668457986/f575b5c2b66e66404fd3ee40b86fd7d1.webp)
输入和输出的结果越接近越好。把训练好的decoder直接拿出来将Latent Representation还原成图片即可。
第二元件:generation model
![](https://file.jishuzhan.net/article/1796679442668457986/b618072759fcff951d3758566a47e67f.webp)
diffusion model的数学原理
![](https://file.jishuzhan.net/article/1796679442668457986/915451a2a9979184dd6fdb95d633e898.webp)
Training
![](https://file.jishuzhan.net/article/1796679442668457986/e21ffe65b0b07b8348770a331b39c474.webp)
第三行表示从1-T sample一个数出来, 第四行表示从normal distribution sample一个
第五行红色方框表示T越大表示所加的噪声越多
![](https://file.jishuzhan.net/article/1796679442668457986/543529ee461628586e5481ecf0050bdc.webp)
![](https://file.jishuzhan.net/article/1796679442668457986/9fdad918ce3f826eb393234912138c44.webp)
![](https://file.jishuzhan.net/article/1796679442668457986/3abbebb22979deb58724689e46202a7e.webp)
想象中噪声是一点一点加进去的, 去噪声也是把噪声一点一点的抹去,实际上真正做的事情并没有把噪声一点一点的加进去,噪声一次加入,去噪声也是一次便去除
sampling
![](https://file.jishuzhan.net/article/1796679442668457986/cdc6a9a6a573ffa4d6a8ec2da00b1418.webp)