文章目录
-
- 1、UNet网络结构
-
- [1.1 residual网络和attention网络的细节](#1.1 residual网络和attention网络的细节)
- [1.2 t 的作用](#1.2 t 的作用)
- [1.3 DDPM 中的 Positional Embedding 的使用](#1.3 DDPM 中的 Positional Embedding 的使用)
1、UNet网络结构
UNet网络的总体框架如下,右边是UNet网络的整体框架,左边是residual网络和attention网络,

下面是UNet网络的详解结构图,左边进行有规律地残差、下采样、attention,右边也是有规律地残差、上采样、attention,相关的代码在图中给出,

1.1 residual网络和attention网络的细节
熟悉CNN的同学应该能看懂下图中的大部分过程。其中的 t 是时间从0到1000的随机值,假如是888,经过Positional Embedding输出长度是128的向量,下面再经过全连接层和silu层等,下面会详细讲解Positional Embedding和residual网络和attention网络,

1.2 t 的作用
1、和原图像一起,计算出 t时刻的图像 x t = 1 − α t ‾ ϵ + α t ‾ x 0 x_t=\sqrt{1-\overline{\alpha_t}}\epsilon+\sqrt{\overline{\alpha_t}}x_0 xt=1−αt ϵ+αt x0
2、将t进行编码,编码后,加到模型中,使模型学习到当前在哪个时刻

1.3 DDPM 中的 Positional Embedding 的使用
左图是Transformer的Positional Embedding,行索引代表第几个单词,列索引代表每个单词的特征向量,右图是DDPM的Positional Embedding,DDPM的Positional Embedding和Transformer的Positional Embedding的区别是DDPM的Positional Embedding并不是给每个词位置编码的,只需要在1000行中随机取出一行就可以了;另一个区别是DDPM的Positional Embedding并没有按照奇数位和偶数位进行拼接,而是按照前后的sin和cos进行拼接的,虽然拼接方式不同,但是最终的效果是一样的,
