文生图模型之Stable Diffusion

原始文章地址

autoencoder

CLIP text encoder

tokenizer最大长度为77(CLIP训练时所采用的设置),当输入text的tokens数量超过77后,将进行截断,如果不足则进行paddings,这样将保证无论输入任何长度的文本(甚至是空文本)都得到77x768大小的特征

问题:当输出超长prompt会分段处理?每段的权重如何处理?

UNet

text condition将通过CrossAttention模块嵌入进来,此时Attention的query是UNet的中间特征,而key和value则是text embeddings。


SD图生图

SD Inpainting

第一种形式:

第二种形式:

相关推荐
hugo_im2 小时前
Mac M4 安装 sd-webui 踩坑全记录
stable diffusion
一叶知秋dong17 小时前
Stable diffusion 工作原理
人工智能·深度学习·stable diffusion
仰望尾迹云4 天前
灵感画廊入门:AI绘画零基础到精通
stable diffusion·ai绘画·图像生成
AI极客菌4 天前
AI绘画工具中,为什么专业玩家爱用Stable Diffusion,普通玩家却喜欢Midjourney?
大数据·人工智能·ai·ai作画·stable diffusion·aigc·midjourney
大叔and小萝莉4 天前
比迪丽AI绘画镜像免配置:GPU算力优化部署,显存占用降低40%
stable diffusion·ai绘画·gpu部署
日光明媚4 天前
从代码的角度解读DMD2
人工智能·深度学习·机器学习·stable diffusion·aigc
ai_xiaogui4 天前
PanelAI 是什么?服务器上 ComfyUI、OpenClaw、Stable Diffusion 一键部署神器,普通开发者也能轻松管理 AI 项目
服务器·人工智能·stable diffusion
ZHW_AI课题组5 天前
使用Stable Diffusion v1.5文本引导与无分类器引导(CFG)算法实现条件生成图片
人工智能·python·算法·机器学习·stable diffusion
三无推导11 天前
ComfyUI 安装部署教程:Windows 下快速搭建可视化 AI 绘图工作流,零基础也能跑通
人工智能·pytorch·windows·stable diffusion·aigc·ai绘画·持续部署
code_pgf11 天前
ViT 与 MAE 在图像特征提取方面的优势详解
人工智能·stable diffusion