【StableDiffusion】Embedding 底层原理,Prompt Embedding,嵌入向量

Embedding 是什么?

Embedding 是将自然语言词汇,映射为 固定长度 的词向量 的技术

· 说到这里,需要介绍一下 One-Hot 编码 是什么。

· One-Hot 编码 使用了众多 5000 长度的1维矩阵,每个矩阵代表一个词语。

· 这有坏处,它不仅计算量更大,而且,它是 不可移植的,因为每个词汇表中,每个 One-Hot 矩阵对应的 prompt 都不同。

· Embedding 能够将 One-Hot 编码的高维稀疏向量(矩阵) 转化为 低维连续的向量(矩阵),请看下面的例子

来看看,降维算法能够将这些被 Embedding 转化了的向量在 2维 坐标系上展现成什么样:

很明显,意思越是不相同的词语,他们的向量距离在二维平面上也相距越远

越是意思相近的词语(cat,猫;kitten,小猫),它们的向量在二维平面上的距离越近

而且,有语义关联的一些词语,它们的向量也是有特殊的数学关系的:

Embedding 将 text → vector 的具体过程

1.首先对句子进行处理,将句子切成单独的词语

2.被切的词语以 One-Hot 的编码格式存储

3.让代表你的词语的 One-Hot 编码的矩阵 和 嵌入矩阵(图中的矩阵E) 相乘,得到这句话的嵌入向量。

请注意,"嵌入矩阵"是提前被训练好的,也就是 Embedding 处理器 的本体。

在相乘之后,我们的自然语言句子的向量就从 4x5000的矩阵 → 4x128的矩阵

也就是,从 高维稀疏矩阵 → 低维稠密矩阵

这就是 Embedding 的作用机制!

相关推荐
deephub1 天前
LLM创造力可以被度量吗?一个基于提示词变更的探索性实验
人工智能·prompt·大语言模型
SunnyRivers1 天前
提示工程(Prompt Engineering)
prompt·提示词
大傻^1 天前
【Prompt工程实战】从0到1构建智能学员辅导系统:Text2SQL+逆向提示词全解析
prompt·提示词工程
logocode_li1 天前
Prompt,除了使用外,你了解其核心原理么?
ai·prompt·指令调优
曦云沐1 天前
第六篇:LangChain 1.0 消息系统与 Prompt 工程:从入门到精通的完整教程
人工智能·langchain·prompt·大模型开发框架
风雨中的小七1 天前
解密Prompt系列69. 从上下文管理到Runtime操作系统
prompt
Loo国昌2 天前
AABB碰撞检测 + 分层Prompt:AI图形零重叠背后的6项关键技术
人工智能·后端·深度学习·自然语言处理·prompt
钱彬 (Qian Bin)2 天前
基于Qwen3-VL-Embedding-2B与vLLM构建高精度多模态图像检索系统
embedding·vllm·多模态检索·qwen3-vl
千里马也想飞2 天前
产业链供应链论文“从0到1”写作指南:我用这套AI指令三天跑完框架(附可直接复制的Prompt)
人工智能·prompt
AI资源库2 天前
解构嵌入模型之王:All-MiniLM-L6-v2 的文件树解密、蒸馏机制与工业级应用生态
langchain·nlp·bert·embedding·hugging face·fine-tuning·ai agent