RAG中为什么要做Embedding?嵌入模型如何选?

1.基础知识

python 复制代码
from sentence_transformers import SentenceTransformer

# 加载 embedding 模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 文本转向量
texts = ["如何煮奶茶", "奶茶制作步骤", "Python 入门教程"]
embeddings = model.encode(texts)

# 计算相似度
from sklearn.metrics.pairwise import cosine_similarity
similarity = cosine_similarity([embeddings[0]], [embeddings[1]])
# 输出约 0.85,说明"如何煮奶茶"和"奶茶制作步骤"语义相近

2.为什么需要Embedding

3.常见嵌入模型

一句话:中文选BGE或M3E、英文选OpenAI或Cohere、轻量级选Sentence-BERT

https://huggingface.co/spaces/mteb/leaderboard

4.如何选嵌入模型

https://huggingface.co/models?library=sentence-transformers

5.追问

相关推荐
CIMPro孪大师9 小时前
CIMPro×DPE | 不止是爆炸动画,AI原生数字样机如何让设备培训与运维更高效
运维·ai-native
Light Gao10 小时前
Encoder 与 Decoder 详解:从 Embedding 到 Seq2Seq 的完整数据流
java·开发语言·embedding
大连好光景11 小时前
RAG应用中Prompt模板设计技巧
prompt·ai-native
Rocky Ding*12 小时前
GPT-6.1 Sol大模型深度解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·gpt-6.1 sol
c萱12 小时前
AI产品经理——01基础认知篇
设计模式·prompt·aigc·产品经理·ai编程·gitcode·ai-native
XUHUOJUN12 小时前
AI-Native Software Engineering:氛围编程的工程化与 Software Change Management
人工智能·ai-native
utmhikari1 天前
【AI原生】借助AI之力优化个人博客前端样式
前端·css·hexo·next·个人博客·ai-native·vibe coding
Blockbuater_drug1 天前
智能原生(AI Native)与智能体原生(Agent Native):概念与体例
ai-native·智能原生·agent native·agent harness·智能体原生·agent enable
Light Gao1 天前
RNN 原理、架构与一次完整手算
人工智能·rnn·深度学习·神经网络·embedding