stable diffusion系列(1)------概述

本文是对李宏毅老师的课程的总结,B站链接如下:
stable diffusion(1)概述

讲最经典的DDPM。

1. DDPM图像生成是一个多个step的去噪过程

DDPM是一个从噪声图像中通过不断去噪(经过很多个step),生成图像的过程。

"雕像本来就已经存在石头里,只是把多余的去掉。"

问题是,这么多个step用的是同一个去噪模型吗?是的!!!但是不同的step含有的噪声大小是不一样的,所以,去噪模型还需要知道是哪个step(噪声的大小程度)。

2. 去噪模型内部机制

(1)有一个噪声预测模型(Noise Predicter),输入时带有噪声的图片和当前的step代号,输出是该图片含有的噪声

(2)带有噪声的图片减去预测的噪声

3. 如何训练这个噪声预测模型?

这个训练过程肯定需要当前这个step的噪声作为ground truth

这个ground truth其实是自己加的。这需要一个前向加噪的过程(扩散过程)。

4. 把文本加进来

需要图像文本对,LAION图像文本对5.85B

把文本输入到去噪模型中,让模型根据文本去噪。

把文本输入到去噪模型中,实际上也就是输入到噪声预测模型中.

相关推荐
日光明媚8 小时前
从代码的角度解读DMD2
人工智能·深度学习·机器学习·stable diffusion·aigc
ai_xiaogui14 小时前
PanelAI 是什么?服务器上 ComfyUI、OpenClaw、Stable Diffusion 一键部署神器,普通开发者也能轻松管理 AI 项目
服务器·人工智能·stable diffusion
ZHW_AI课题组2 天前
使用Stable Diffusion v1.5文本引导与无分类器引导(CFG)算法实现条件生成图片
人工智能·python·算法·机器学习·stable diffusion
三无推导7 天前
ComfyUI 安装部署教程:Windows 下快速搭建可视化 AI 绘图工作流,零基础也能跑通
人工智能·pytorch·windows·stable diffusion·aigc·ai绘画·持续部署
code_pgf7 天前
ViT 与 MAE 在图像特征提取方面的优势详解
人工智能·stable diffusion
code_pgf8 天前
多模态技术在主要 AI 应用领域中的应用分析与工程落地建议
人工智能·stable diffusion
程序员大辉9 天前
Z-Image迷你整合包:只有10G大小,5G小显存也能跑的Stable Diffusion文生图工具
stable diffusion·文生图·sd·z-image
嗝o゚10 天前
昇腾CANN cann-recipes-infer 仓:Stable Diffusion 推理加速方案
人工智能·stable diffusion·cann
菜鸟是大神11 天前
04-高效编写CLAUDE.md
数据库·chatgpt·ai作画·stable diffusion·文心一言·dall·e 2
Rocky Ding*13 天前
昔日AI绘画框架王者Stable Diffusion WebUI,已死
人工智能·深度学习·机器学习·chatgpt·ai作画·stable diffusion·aigc