stable diffusion基本原理

diffusion model

  • latent diffusion :先对图片降维,然后在降维空间做diffusion;stable diffusion即基于此方法实现的,因此计算量很小;
  • 共用降噪网络U-Net:输入noisy image+step,告诉网络当前的噪声等级;预测出来噪声,noisy image-noise,得到降噪之后的图片;然后继续送进网络,再做一次这样的推理;

stable diffusion整体

stable diffusion拆解

  • stable diffusion的推理流程:CLIP模型对文本进行编码,得到文本-图片共享域的embedding;然后送给lattent diffusion,最后输出经过解码器重建为高清图片。

  • diffusion 正向流程是图片加白噪声,具体加的方法看schedule的设置,比如每次加一定量;或者先加的少,后加的多---图片特征损失的比较慢;高斯噪声可以累加,因此在设置step=100的时候,实际上每一步的结果都可以直接推出来了;



  • stable diffusion的输入【step, noisy image,文本特征】,为了加强文本对生成内容的控制,引入classifier free guidance进行控制;有文本控制和没有文本控制的情况下,生成两种噪声,互减之后的部分既是文本引导改变的噪声部分,乘一定的系数对文本引导改变的结果进行加强,再加上没有文本引导部分的噪声,合并成本轮预测的噪声。

  • 进阶玩法:webUI上有正向提示词,和负向提示词;可以通过classifier free guidance进行加强or减弱的控制;

  • VAE和CLIP模型都是预先训练好的;stable diffusion 2用的是LAION数据集训练的CLIP模型;官网有模型公开,但有的模型没有训练使用的数据集公开;

相关推荐
liliangcsdn3 分钟前
smolagents - 如何在mac用agents做简单算术题
人工智能·macos·prompt
nju_spy7 分钟前
周志华《机器学习导论》第8章 集成学习 Ensemble Learning
人工智能·随机森林·机器学习·集成学习·boosting·bagging·南京大学
静心问道30 分钟前
TrOCR: 基于Transformer的光学字符识别方法,使用预训练模型
人工智能·深度学习·transformer·多模态
说私域32 分钟前
基于开源AI大模型、AI智能名片与S2B2C商城小程序源码的用户价值引导与核心用户沉淀策略研究
人工智能·开源
亲持红叶33 分钟前
GLU 变种:ReGLU 、 GEGLU 、 SwiGLU
人工智能·深度学习·神经网络·激活函数
说私域33 分钟前
线上协同办公时代:以开源AI大模型等工具培养网感,拥抱职业变革
人工智能·开源
群联云防护小杜35 分钟前
深度隐匿源IP:高防+群联AI云防护防绕过实战
运维·服务器·前端·网络·人工智能·网络协议·tcp/ip
摘星编程40 分钟前
构建智能客服Agent:从需求分析到生产部署
人工智能·需求分析·智能客服·agent开发·生产部署
不爱学习的YY酱43 分钟前
信息检索革命:Perplexica+cpolar打造你的专属智能搜索中枢
人工智能
whaosoft-1432 小时前
51c自动驾驶~合集7
人工智能