stable diffusion实践操作-embedding(TEXTUAL INVERSION)

系列文章目录

本文专门开一节写图生图相关的内容,在看之前,可以同步关注:
stable diffusion实践操作


文章目录

  • 系列文章目录
  • 前言
    • 1、embeddding的功能
    • 2、如何去下载(https://civitai.com/models)
      • [2.1 筛选 TEXTUAL INVERSION](#2.1 筛选 TEXTUAL INVERSION)
      • [2.2 筛选出来](#2.2 筛选出来)
      • [2.3 下载保存](#2.3 下载保存)
      • [2.4 如何使用](#2.4 如何使用)
    • [3、embedding 收集的模型](#3、embedding 收集的模型)
      • [3.1 badhandv4 - AnimeIllustDiffusion](#3.1 badhandv4 - AnimeIllustDiffusion)
      • [3.2 bad_prompt Negative Embedding](#3.2 bad_prompt Negative Embedding)
      • [3.3 人物形象类的(Corneos D.va)](#3.3 人物形象类的(Corneos D.va))
      • [3.6 ng_deepnegative_v1_75t](#3.6 ng_deepnegative_v1_75t)
      • [3.7 DeepNegativeV1.x](#3.7 DeepNegativeV1.x)
  • 总结

前言

textualinversion 中文名为文本反转,可以理解为提示词的集合,提示词打包,可以省略大量的提示词。后缀safetensors,大小几十kb

本文根据B站A_Eye视频而来,需要看原视频的,可以进入:
Stable diffusion喂饭级基础教程 第九期 什么是embedding


1、embeddding的功能

可以理解为提示词的集合,可以省略大量的提示词。

下面是一篇关于embeddding的权威论文,感兴趣的小伙伴可以自己去看

我总结一下,举个例子,希望左图生成右图,那么对于左面的模型来说,右边的图是个新的概念,然而在一个大模型中,引入新的概念是很困难的,如果为了这个新的图片而重新训练模型,成本就太高了。

所以论文作者提出了一个新的想法,就是在文本编码器的嵌入空间中,找到新的伪装词,通过这个伪装词,去捕获高级语义和精细的视觉细节

换句话说,就是采用少量有图的文本,训练出一个新的反转文本,这个反转文本可以在生成图片的时候,可以嵌入到大模型的词汇库中,让左边模型学习到了右边图片的概念,从而生成带有右边特征的图片。

这样就可以使用语言文本,将新的特征注入到模型当中,训练成本低,使用方便,并且体积很小,唯一缺点是很难进行精确学习,但是对于普通人来说已经足够了。

2、如何去下载(https://civitai.com/models)

2.1 筛选 TEXTUAL INVERSION

2.2 筛选出来

2.3 下载保存

在C站可以下载:https://civitai.com

下载后存放地址:sd-webui-aki-v4.2\embeddings

2.4 如何使用

没有触发词,直接使用名称就可以了。注意得到是不要把负向embedding放到正向提示词中去了。


3、embedding 收集的模型

3.1 badhandv4 - AnimeIllustDiffusion

此文本嵌入为负面文本嵌入。它能够在对画风影响较小的前提下改善AI生成图片的手部细节。如果它让你的模型表现得比以前更糟,请勿使用它。您可与其他负面文本嵌入一同使用。

如果你想使用效果更强的版本,请移步:NegativeEmbedding - AnimeIllustDiffusion | Stable Diffusion TextualInversion | Civitai。这是一个用于修理各种各样画质和畸形问题的负面pt。他效果强劲,但更可能会破坏您原本的风格,且占用大量词元数(使用它时,其实您也不需要再使用很多负面提示词)。

虽然它是为 AnimeIllustDiffusion 模型设计的,但您也可以在其他模型上使用。

另外,我发现它在较高的提示词相关性下(>=11)表现的更好。

使用方法

您应该将下载得到的负面文本嵌入文件,即 badhandv4.pt 文件放置在您 stable diffusion 目录下的 embeddings 文件夹内。之后,您只需要在填写负面提示词处输入 badhandv4 即可。

3.2 bad_prompt Negative Embedding

使用同上。

3.3 人物形象类的(Corneos D.va

### 3.4 特定动作(AwaitingTongue Embedding) ### 3.5 Winter Style 冬日画风

3.6 ng_deepnegative_v1_75t

3.7 DeepNegativeV1.x

触发器:ng_deepnegative_v1_75t,ng_deepnegative_v1_75t

总结

以上就是今天要讲的内容。

相关推荐
弓.长.4 小时前
主流AI绘画工具技术对比:Stable Diffusion 3与Midjourney V6的架构差异解析
ai作画·stable diffusion·midjourney
weixin_404679315 小时前
VL-JEPA: Joint Embedding Predictive Architecture for Vision-language
embedding
tap.AI15 小时前
(三)Stable Diffusion 3.5 与 ComfyUI
分布式·stable diffusion
无心水1 天前
【Stable Diffusion 3.5 FP8】1、Stable Diffusion 3.5 FP8 入门指南:为什么它能颠覆文生图效率?
人工智能·python·深度学习·机器学习·stable diffusion·ai镜像开发·ai镜像
无心水1 天前
【神经风格迁移:多风格】17、AIGC+风格迁移:用Stable Diffusion生成自定义风格
人工智能·机器学习·语言模型·stable diffusion·aigc·机器翻译·vgg
多仔ヾ1 天前
Stable Diffusion AIGC 视觉设计实战教程之 08-高级图像处理
stable diffusion·aigc
多仔ヾ1 天前
Stable Diffusion AIGC 视觉设计实战教程之 09-ControlNet 插件
stable diffusion·aigc
Blossom.1182 天前
大模型AI Agent实战:ReAct框架从零实现与金融研报分析系统
人工智能·学习·react.js·stable diffusion·金融·aigc·知识图谱
A达峰绮2 天前
从FP16到FP8:我是如何让Stable Diffusion 3.5提速40%而不丢画质的
人工智能·stable diffusion
tap.AI2 天前
(二)Stable Diffusion 3.5硬件准备与环境配置 —— 低配显卡也能跑大模型
人工智能·stable diffusion