DDPM代码讲解【详细!!!】

文章目录

    • 1、UNet网络结构
      • [1.1 residual网络和attention网络的细节](#1.1 residual网络和attention网络的细节)
      • [1.2 t 的作用](#1.2 t 的作用)
      • [1.3 DDPM 中的 Positional Embedding 的使用](#1.3 DDPM 中的 Positional Embedding 的使用)

1、UNet网络结构

UNet网络的总体框架如下,右边是UNet网络的整体框架,左边是residual网络和attention网络,

下面是UNet网络的详解结构图,左边进行有规律地残差、下采样、attention,右边也是有规律地残差、上采样、attention,相关的代码在图中给出,

1.1 residual网络和attention网络的细节

熟悉CNN的同学应该能看懂下图中的大部分过程。其中的 t 是时间从0到1000的随机值,假如是888,经过Positional Embedding输出长度是128的向量,下面再经过全连接层和silu层等,下面会详细讲解Positional Embedding和residual网络和attention网络,

1.2 t 的作用

1、和原图像一起,计算出 t时刻的图像 x t = 1 − α t ‾ ϵ + α t ‾ x 0 x_t=\sqrt{1-\overline{\alpha_t}}\epsilon+\sqrt{\overline{\alpha_t}}x_0 xt=1−αt ϵ+αt x0

2、将t进行编码,编码后,加到模型中,使模型学习到当前在哪个时刻

1.3 DDPM 中的 Positional Embedding 的使用

左图是Transformer的Positional Embedding,行索引代表第几个单词,列索引代表每个单词的特征向量,右图是DDPM的Positional Embedding,DDPM的Positional Embedding和Transformer的Positional Embedding的区别是DDPM的Positional Embedding并不是给每个词位置编码的,只需要在1000行中随机取出一行就可以了;另一个区别是DDPM的Positional Embedding并没有按照奇数位和偶数位进行拼接,而是按照前后的sin和cos进行拼接的,虽然拼接方式不同,但是最终的效果是一样的,

相关推荐
西猫雷婶3 小时前
神经网络|(十九)概率论基础知识-伽马函数·下
人工智能·深度学习·神经网络·机器学习·回归·scikit-learn·概率论
Honeysea_704 小时前
容器的定义及工作原理
人工智能·深度学习·机器学习·docker·ai·持续部署
大千AI助手5 小时前
梯度消失问题:深度学习中的「记忆衰退」困境与解决方案
人工智能·深度学习·神经网络·梯度·梯度消失·链式法则·vanishing
研梦非凡5 小时前
CVPR 2025|无类别词汇的视觉-语言模型少样本学习
人工智能·深度学习·学习·语言模型·自然语言处理
max5006005 小时前
本地部署开源数据生成器项目实战指南
开发语言·人工智能·python·深度学习·算法·开源
一颗20216 小时前
深度解读:PSPNet(Pyramid Scene Parsing Network) — 用金字塔池化把“场景理解”装进分割网络
人工智能·深度学习·计算机视觉
hallo1287 小时前
学习机器学习能看哪些书籍
人工智能·深度学习·机器学习
中國龍在廣州7 小时前
哈工大提出空间机器人复合框架,突破高精度轨迹跟踪
人工智能·深度学习·机器学习·计算机视觉·机器人
豆浩宇9 小时前
学习PaddlePaddle--环境配置-Windows 11 + RTX 4060
人工智能·windows·深度学习·学习·目标检测·计算机视觉·paddlepaddle