Stable diffusion(一)

Stable diffusion 原理解读

名词解释
  • 正向扩散(Fixed Forward Diffusion Process):
  • 反向扩散(Generative Reverse Denoising Process)
  • VAE(Variational AutoEncoder):一个用于压缩图片的神经网络,按照我的理解,通过这个模组的图片/文本,将被映射更加精确的向量。
  • Latent Space(潜变量空间):被VAE压缩/升维后的向量。
  • Unet:一个用来预测噪声的图像分割模型
  • CLIP:Tokenizer + Text Encode
  • Sampler:控制迭代次数和迭代总数的规划期。可以有线性规划等规划方式,去分配,在训练中,每一个epoch中加入多少次噪音。
    • 迭代次数:epoch
    • 迭代总数:要加多少次噪音。
Unet原理分析
  1. 图像分割的几种分类。图像分割,就是将像素点达标成thing的过程。
  2. 网络结构
    网络结构就是卷积下采样 + 反卷积/反池化 上采样的过程
  3. 训练集样例
  4. Unet 在stable diffusion中的使用。Unet是用于图像分割的,用于预测像素的分类。在stable diffusion中,就使用它预测噪声,去除噪声。
    1. 在一张图像中,加入随机生成噪声,并且将这张图片和这个噪声分类放到训练集中去。那么就可以通过一张图片,获得有很多图片的训练集。
    2. 训练Unet,将图片中的噪音点打标出来。输入图片,输出噪音。并且将噪音去除,就能从一个噪音图片中还原出一个图像~
图生图/文生图
  1. 将图片压缩成潜在变量/在潜在空间中latent space中随机生成一个噪音图片
  2. 加入随机噪声/文生图略
  3. Unet 预测噪声、去噪
  4. 生成新的图片
相关推荐
二院大蛙1 天前
Stable Diffusion 3.5 FP8在农业无人机航拍模拟图中的地形还原精度
stable diffusion· fp8· 农业无人机
或困1 天前
Stable Diffusion 3.5 FP8镜像支持灰度检测与异常报警
stable diffusion·灰度发布·fp8量化
沉默的大羚羊1 天前
Stable Diffusion 3.5 FP8模型可用于旅游宣传海报制作
stable diffusion·文生图·fp8
BOBO爱吃菠萝1 天前
Stable Diffusion 3.5 FP8镜像自动化部署脚本发布
stable diffusion·量化·fp8
九章云极AladdinEdu1 天前
项目分享|SD-Trainer:Stable Diffusion 训练集成工具
stable diffusion·端到端学习·高斯泼溅·3d场景分割·物体级代码本·2d到3d提升
qq_420443271 天前
AMD显卡在windows中通过WSL安装使用stable diffusion(WebUI和ComfyUI)
linux·windows·ubuntu·stable diffusion·wsl
网安入门学习1 天前
2025年AIGC人才需求报告:从招聘数据看行业趋势与技能要求
人工智能·windows·ai作画·stable diffusion·aigc
ai_xiaogui1 天前
Stable Diffusion Web UI 整合包一键安装教程:Windows/Mac零基础部署AI绘画工具
人工智能·ai作画·stable diffusion·一键整合包·ai生图神器·ai生图和动作迁移
人工智能AI技术2 天前
【SD教程】提示词
人工智能·stable diffusion·aigc·ai绘画
一点晖光2 天前
stable diffusion搭建指南
stable diffusion