文章目录
-
- 1、UNet网络结构
-
- [1.1 residual网络和attention网络的细节](#1.1 residual网络和attention网络的细节)
- [1.2 t 的作用](#1.2 t 的作用)
- [1.3 DDPM 中的 Positional Embedding 的使用](#1.3 DDPM 中的 Positional Embedding 的使用)
1、UNet网络结构
UNet网络的总体框架如下，右边是UNet网络的整体框架，左边是residual网络和attention网络，
下面是UNet网络的详解结构图，左边进行有规律地残差、下采样、attention，右边也是有规律地残差、上采样、attention，相关的代码在图中给出，
1.1 residual网络和attention网络的细节
熟悉CNN的同学应该能看懂下图中的大部分过程。其中的 t 是时间从0到1000的随机值，假如是888，经过Positional Embedding输出长度是128的向量，下面再经过全连接层和silu层等，下面会详细讲解Positional Embedding和residual网络和attention网络，
1.2 t 的作用
1、和原图像一起，计算出 t时刻的图像 x t = 1 − α t ‾ ϵ + α t ‾ x 0 x_t=\sqrt{1-\overline{\alpha_t}}\epsilon+\sqrt{\overline{\alpha_t}}x_0 xt=1−αt ϵ+αt x0
2、将t进行编码，编码后，加到模型中，使模型学习到当前在哪个时刻
1.3 DDPM 中的 Positional Embedding 的使用
左图是Transformer的Positional Embedding，行索引代表第几个单词，列索引代表每个单词的特征向量，右图是DDPM的Positional Embedding，DDPM的Positional Embedding和Transformer的Positional Embedding的区别是DDPM的Positional Embedding并不是给每个词位置编码的，只需要在1000行中随机取出一行就可以了；另一个区别是DDPM的Positional Embedding并没有按照奇数位和偶数位进行拼接，而是按照前后的sin和cos进行拼接的，虽然拼接方式不同，但是最终的效果是一样的，
