DDPM代码讲解【详细!!!】

文章目录

    • 1、UNet网络结构
      • [1.1 residual网络和attention网络的细节](#1.1 residual网络和attention网络的细节)
      • [1.2 t 的作用](#1.2 t 的作用)
      • [1.3 DDPM 中的 Positional Embedding 的使用](#1.3 DDPM 中的 Positional Embedding 的使用)

1、UNet网络结构

UNet网络的总体框架如下,右边是UNet网络的整体框架,左边是residual网络和attention网络,

下面是UNet网络的详解结构图,左边进行有规律地残差、下采样、attention,右边也是有规律地残差、上采样、attention,相关的代码在图中给出,

1.1 residual网络和attention网络的细节

熟悉CNN的同学应该能看懂下图中的大部分过程。其中的 t 是时间从0到1000的随机值,假如是888,经过Positional Embedding输出长度是128的向量,下面再经过全连接层和silu层等,下面会详细讲解Positional Embedding和residual网络和attention网络,

1.2 t 的作用

1、和原图像一起,计算出 t时刻的图像 x t = 1 − α t ‾ ϵ + α t ‾ x 0 x_t=\sqrt{1-\overline{\alpha_t}}\epsilon+\sqrt{\overline{\alpha_t}}x_0 xt=1−αt ϵ+αt x0

2、将t进行编码,编码后,加到模型中,使模型学习到当前在哪个时刻

1.3 DDPM 中的 Positional Embedding 的使用

左图是Transformer的Positional Embedding,行索引代表第几个单词,列索引代表每个单词的特征向量,右图是DDPM的Positional Embedding,DDPM的Positional Embedding和Transformer的Positional Embedding的区别是DDPM的Positional Embedding并不是给每个词位置编码的,只需要在1000行中随机取出一行就可以了;另一个区别是DDPM的Positional Embedding并没有按照奇数位和偶数位进行拼接,而是按照前后的sin和cos进行拼接的,虽然拼接方式不同,但是最终的效果是一样的,

相关推荐
红苕稀饭6661 小时前
VideoChat-Flash论文阅读
人工智能·深度学习·机器学习
Teacher.chenchong1 小时前
基于PyTorch深度学习无人机遥感影像目标检测、地物分类及语义分割实践技术应用
pytorch·深度学习·无人机
偶尔贪玩的骑士3 小时前
Machine Learning HW4 report: 语者识别 (Hongyi Lee)
人工智能·深度学习·机器学习·self-attention
咩?3 小时前
深度学习中的关键工具与数据处理方法
深度学习·学习
没有口袋啦3 小时前
《机器学习与深度学习》入门
人工智能·深度学习·机器学习
空白到白3 小时前
深度学习-神经网络(上篇)
人工智能·深度学习·神经网络
若天明6 小时前
深度学习-自然语言处理-序列模型与文本预处理
人工智能·深度学习·自然语言处理
.银河系.6 小时前
9.24 深度学习6
人工智能·深度学习
Wah-Aug6 小时前
深度学习视角下的图像分类
人工智能·深度学习·分类
山烛6 小时前
一文读懂循环神经网络(RNN):原理、局限与LSTM解决方案
人工智能·rnn·深度学习·lstm·门控循环单元·循环神经网络·长短时记忆网络