GAN&VAE&Diffusion

数学基础

其中 a t = 1 − β t a_t=1-\beta_t at=1−βt, β \beta β逐渐变大，从0.0001到0.002之间，进而 α \alpha α也逐渐变小
可以看到 x t x_t xt的公式中 x t x_t xt与 x t − 1 x_{t-1} xt−1有关，同时再加上一点高斯分布噪音
同理， x t − 1 x_{t-1} xt−1也可以用 x t − 2 x_{t-2} xt−2表示出来，带入到 x t x_t xt的表达式中，得到红线部分 z 1 , z 2 z_1,z_2 z1,z2两个高斯分布噪音的相加
式子中对高斯分布乘上一个数，相当于对分布的方差进行变化，如果加减操作，相当于对分布的均值发生变化，因此可以发现二者的方差已经变化
相乘之后的分布仍服从高斯分布，因此二者可以做加法，新的分布还是高斯分布，只不过是方差相加
因此可以看出， x t x_t xt的分布和他的前t项相关，是其前t项连乘，这样就能做到直接得到加噪过程中任意一项的图像分布。

反向过程即通过 x t x_t xt逐渐推出 x 0 x_0 x0的过程，通过使用贝叶斯公式可以完成这一过程，其中 q ( x t ∣ x t − 1 ) q(x_t|x_{t-1}) q(xt∣xt−1)为正向过程，已知， q ( x t − 1 ∣ ∣ x 0 ) q(x_{t-1|}|x_0) q(xt−1∣∣x0)也都已知
这里三个式子都是服从高斯分布，因此乘以一个数和加上一个数，分别改变其方差和均值，和前面的过程相同。
根据贝叶斯公式，需要将其中两项相乘，再除以第三项，因为这三项都服从正态分布，因此将他们做乘除即幂次相加减

通过对方程进行化简，可以配方得到关于 x t − 1 x_{t-1} xt−1的式子，而关于正态分布的公式进行展开，可以得到和配方后的式子相同的式子
因此，可以分别得到 σ 和 μ \sigma和\mu σ和μ的值
其中， x 0 x_0 x0不知道，但是通过前向过程可以将 x 0 x_0 x0逆推回来，并将其带入均值方程，可以得到均值的最终结果。此时，均值只与 x t x_t xt有关
另外，可以看到均值和 z t z_t zt噪声有关。在反向过程中，利用前向过程提供的每一步所添加的噪音当作标签进行训练，进而进行拟合，估计出噪声 z t z_t zt。