模型原理
基于扩散模型实现 AI 绘画包括两个过程------加噪过程和去噪过程。
e.墨水->热水
每一步的加噪结果仅依赖于上一步的加噪结果和一个加噪过程，而这个加噪过程依赖于当前时间步 t，因此整个加噪过程可以看成参数化的马尔科夫链。
马尔可夫链：数学模型，用于描述随机事件的序列，其中每个事件的概率仅取决于上一个事件的状态，而与过去的事件无关。
扩散模型 vs GAN
训练与推理
加噪-训练环节
对于一张干净的图像，可以仅通过一次计算得到任意 t 步加噪声的结果。
训练：假定我们已经收集了一个用于训练扩散模型的训练集，整个训练过程便是不断重复下面这六个步骤。
-
每次从数据集中随机抽取一张图片。
-
随机从 1 至 1000 中选择一个时间步 t。
-
随机生成一个高斯噪声。
-
根据上述加噪环节的公式，一次计算直接得到第 t 步加噪的结果图像。
-
将时间步 t 和加噪图像作为 UNet 的输入去预测一个噪声值。
-
使用第五步预测的噪声值和第三步随机生成的噪声值，计算数值误差，并回传梯度。
去噪-推理环节
如何根据当前时间步的噪声图预测上一步加入的噪声？
希望得到这样一个模型，输入第 t 步加噪结果和时间步 t，预测从第 t-1 步到第 t 步噪声值。主流的方法是训练一个 UNet 模型来预测噪声图。因为噪声值和输入图的分辨率是一致的，而 UNet 模型常用于图像分割任务，输入输出的分辨率相同，使用 UNet 来完成这个任务再合适不过了。
如何在当前时间步的噪声图上去除这些噪声？
采样器，根据加噪结果和噪声值，准确地去除噪声。
推理：
-
我们随机生成一个高斯噪声，作为第 1000 步加噪之后的结果。
-
将这个噪声和时间步 1000 作为已经训练好的 UNet 的输入，预测第 999 步引入的噪声。
-
使用采样器在步骤 1 的高斯噪声中去除步骤 2 预测的噪声，得到一张干净一点的图像。