LangChain 之 DashScopeEmbeddings下的 embed_query和embed_documents的区别

我先给出结论:两个方法的核心向量转换逻辑是一致的,但是由于添加的前缀不同,导致最终的向量值差异很大,但是由于两者的'语义匹配能力'并未失效,计算余弦相似度时,仍会呈现极高的相似度(接近 1)。

  • embed_query方法使用的前缀是 query:
  • embed_documents方法使用的前缀是document

共享同一模型的编码能力

两种方法本质上调用的是同一个嵌入模型,使用的是完全相同的向量转换算法。例如:

  • 对于 DashScopeEmbeddings,无论是 embed_query("问题") 还是 embed_documents(["文档1", "文档2"]),最终都会调用阿里达摩院的同一个嵌入模型(如 text-embedding-v1);
  • 模型内部对文本的分词、特征提取、向量生成逻辑完全一致,生成的向量维度和语义编码规则也相同(因此才能计算"问题向量"与"文档向量"的相似度)。

向量数值差异性的原因

两个方法的前缀不同

特殊场景的文本截断

对于超长文本(超过模型支持的最大长度):

  • embed_documents 可能会对每个文档进行自动截断或分段处理(不同模型实现不同),确保符合模型输入要求;
  • embed_query 由于输入通常是短文本(问题),截断处理较少见,但本质逻辑与文档截断一致。

在RAG中的使用区分

在 RAG 中,必须用 embed_query 处理用户问题,embed_documents 处理知识库文档(尽管逻辑相同,但接口设计对应不同角色)。

例如,在典型的 RAG 流程中:

python 复制代码
# 用 embed_documents 处理文档(批量)
docs = ["文档1内容...", "文档2内容..."]
doc_vectors = embeddings.embed_documents(docs)

# 用 embed_query 处理用户问题(单个)
query = "用户的问题..."
query_vector = embeddings.embed_query(query)

# 计算相似度(因向量来自同一逻辑,可直接比对)
similarity = cosine_similarity(query_vector, doc_vectors)

这里正因为两者的向量转换逻辑一致,才能通过余弦相似度准确匹配问题与文档。

相关推荐
ToTensor7 小时前
DataGen——合成数据生成器:把一句任务描述变成可校验的训练数据
langchain·agent
ever_up97314 小时前
LangChain基础知识概述1
人工智能·python·langchain
Java后端的Ai之路15 小时前
LangChain Deep Agents 从入门到企业实战
开发语言·人工智能·python·langchain·deepagents
靠谱者也17 小时前
AI Agent 从入门到实战:核心架构、工程挑战与落地实践
langchain·ai编程
JavaPub-rodert1 天前
LangChain 从入门到 Agent 实战:用 Python 搭建一个真正能调用工具和知识库的 AI 助手
人工智能·python·langchain
烬羽1 天前
让大模型输出 JSON:从"正则剥 markdown"到"让它调个工具",一条可靠性升级之路
langchain·llm·openai
夫子3962 天前
【第三部分:第一个 Agent 应用】12. 使用状态机开发一个可控 Agent
langchain·llm·agent
旖旎夜光2 天前
【LangChain实战】LangChain 学习笔记(二):结构化输出、流式传输与消息管理
人工智能·笔记·python·学习·ai·langchain
Maiko Star2 天前
[LangChain Agent] 03 ReAct 框架:思考→行动→观察
langchain
minji...3 天前
LangChain AI应用开发框架核心组件的使用 - 消息组件的使用 : 消息,历史消息的缓存,历史消息的管理(裁剪过滤合并)
langchain