扩散模型 diffusion model

模型原理

基于扩散模型实现 AI 绘画包括两个过程------加噪过程和去噪过程。

e.墨水->热水

每一步的加噪结果仅依赖于上一步的加噪结果和一个加噪过程,而这个加噪过程依赖于当前时间步 t,因此整个加噪过程可以看成参数化的马尔科夫链。

马尔可夫链:数学模型,用于描述随机事件的序列,其中每个事件的概率仅取决于上一个事件的状态,而与过去的事件无关。

扩散模型 vs GAN

训练与推理

加噪-训练环节

对于一张干净的图像,可以仅通过一次计算得到任意 t 步加噪声的结果。

训练:假定我们已经收集了一个用于训练扩散模型的训练集,整个训练过程便是不断重复下面这六个步骤。

  1. 每次从数据集中随机抽取一张图片。

  2. 随机从 1 至 1000 中选择一个时间步 t。

  3. 随机生成一个高斯噪声。

  4. 根据上述加噪环节的公式,一次计算直接得到第 t 步加噪的结果图像。

  5. 将时间步 t 和加噪图像作为 UNet 的输入去预测一个噪声值。

  6. 使用第五步预测的噪声值和第三步随机生成的噪声值,计算数值误差,并回传梯度。

去噪-推理环节

如何根据当前时间步的噪声图预测上一步加入的噪声?

希望得到这样一个模型,输入第 t 步加噪结果和时间步 t,预测从第 t-1 步到第 t 步噪声值。主流的方法是训练一个 UNet 模型来预测噪声图。因为噪声值和输入图的分辨率是一致的,而 UNet 模型常用于图像分割任务,输入输出的分辨率相同,使用 UNet 来完成这个任务再合适不过了。

如何在当前时间步的噪声图上去除这些噪声?

采样器,根据加噪结果和噪声值,准确地去除噪声。

推理:

  1. 我们随机生成一个高斯噪声,作为第 1000 步加噪之后的结果。

  2. 将这个噪声和时间步 1000 作为已经训练好的 UNet 的输入,预测第 999 步引入的噪声。

  3. 使用采样器在步骤 1 的高斯噪声中去除步骤 2 预测的噪声,得到一张干净一点的图像。

相关推荐
在努力的韩小豪14 分钟前
如何从0开始构建自己的第一个AI应用?(Prompt工程、Agent自定义、Tuning)
人工智能·python·llm·prompt·agent·ai应用·mcp
云卓SKYDROID14 分钟前
无人机环境感知系统运行与技术难点!
人工智能·计算机视觉·目标跟踪·无人机·科普·高科技·云卓科技
网安INF32 分钟前
深度学习中的 Seq2Seq 模型与注意力机制
人工智能·深度学习·神经网络·注意力机制·seq2seq
火山引擎开发者社区1 小时前
ByteBrain x 清华 VLDB25|时序多模态大语言模型 ChatTS
人工智能·语言模型·自然语言处理
SoaringPigeon1 小时前
从深度学习的角度看自动驾驶
人工智能·深度学习·自动驾驶
产品经理独孤虾1 小时前
如何利用AI大模型对已有创意进行评估,打造杀手级的广告创意
人工智能·大模型·aigc·产品经理·数字营销·智能营销·智能创意生成
MobotStone1 小时前
无代码+AI时代,为什么你仍然需要像个开发者一样思考
人工智能·算法
张较瘦_2 小时前
[论文阅读] 人工智能 + 软件工程 | LLM辅助软件开发:需求如何转化为代码?
论文阅读·人工智能·软件工程
whabc1002 小时前
和鲸社区深度学习基础训练营2025年关卡3_Q1(1)
人工智能·深度学习
勤奋的知更鸟2 小时前
标准化模型格式ONNX介绍:打通AI模型从训练到部署的环节
人工智能·语言模型