LangChain 少样本示例 和 动态示例选择

基于语义相似度的动态少样本提示。它不是把所有示例都写死在提示词里,而是根据用户输入,从示例库中自动挑选最相关的几条,再拼成提示词交给大模型使用。

整体流程

先准备了一组评论情感分类示例,例如"这个手机拍照真好看"对应"正面","物流太慢了"对应"负面"。然后加载本地中文嵌入模型 bge-large-zh-v1.5,把文本转换成向量。接着用 Chroma 向量库和 SemanticSimilarityExampleSelector 构建一个语义相似度选择器,每次根据用户输入选出最相似的 3 条示例。最后通过 FewShotPromptTemplate 把这些示例和用户当前评论组合成完整提示词。

大模型在这里扮演什么角色

本身并没有直接调用大模型,它生成的是给大模型使用的提示词。

在这个例子里,大模型会收到类似这样的输入:

复制代码
请判断一下评论的情感倾向:

评论:物流太慢了
情感:负面

评论:用了三天就坏了
情感:负面

大模型不需要重新训练,只要看到这些示例,就能模仿示例格式,把新评论判断为"负面"。这种方式叫少样本学习,也就是通过少量示例让模型理解任务规则。

关键词解释

关键词 含义
大模型 能够理解并生成自然语言的模型,可根据提示词完成分类、问答、生成等任务
提示词 交给大模型的输入文本,通常包含任务说明、示例和待处理内容
少样本提示 在提示词中提供少量示例,让大模型通过示例理解任务,而不是重新训练模型
动态示例选择 不固定使用所有示例,而是根据当前输入挑选最相关的示例
嵌入模型 把文本转换成向量的模型,语义相近的文本会对应相近的向量
向量库 用来存储文本向量并支持相似度检索的数据库,这里使用 Chroma
语义相似度 判断两段文本在含义上是否接近,而不是只看字面是否相同

为什么需要动态选择示例

如果示例库很大,把所有示例都放进提示词会让输入变长,增加成本,也可能引入不相关内容。动态选择只保留与当前输入最接近的示例,既能控制长度,也能提高示例的相关性。

代码中的几个细节

HuggingFaceEmbeddings 使用的是本地路径 ./bge-large-zh-v1.5,说明嵌入模型是本地加载的。device='cpu' 表示在 CPU 上运行,如果模型较大,推理速度可能会慢一些。normalize_embeddings=True 会对向量做归一化,通常有助于提高余弦相似度计算的稳定性。

FewShotPromptTemplate 中的 prefix 是任务说明,suffix 是用户输入部分,example_prompt 决定每条示例如何展示。最终调用 prompt.format() 时,示例选择器会根据输入评论自动挑选示例,并生成完整提示词。

代码示例:

ini 复制代码
from langchain_core.prompts import FewShotPromptTemplate,PromptTemplate
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_chroma import Chroma
import os


# 1.准备实例库
examples = [
    {"input": "这个手机拍照真好看", "output": "正面"},
    {"input": "用了三天就坏了", "output": "负面"},
    {"input": "一般般吧", "output": "中性"},
    {"input": "客服态度很好", "output": "正面"},
    {"input": "物流太慢了", "output": "负面"},
    {"input": "续航很给力", "output": "正面"},
    {"input": "屏幕碎了", "output": "负面"},
    {"input": "价格有点贵", "output": "中性"},
]
# 2.加载词嵌入模型
embeddings = HuggingFaceEmbeddings(
    model_name=os.path.abspath('./bge-large-zh-v1.5'),
    model_kwargs={'device':'cpu'},
    encode_kwargs={'normalize_embeddings':True}
)
# 3.创建语义相似度选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
    examples=examples,
    embeddings=embeddings,
    vectorstore_cls=Chroma,
    k=3 #每次选择k个语义相似的示例
)
# 4.少样本示例
exapple_prompt = PromptTemplate(
    input_variables=['input','output'],
    template='评论:{input}\n情感:{output}'
)
prompt = FewShotPromptTemplate(
    example_prompt=exapple_prompt,
    example_selector=example_selector,
    prefix='\n请判断一下评论的情感倾向:',
    suffix='评论:{input_review}\n情感:',
    input_variables=['input_review']
)

#5.测试
print(prompt.format(input_review="发货太慢了,等了很久"))
print(prompt.format(input_review="手机真好"))
相关推荐
回家路上绕了弯2 小时前
做错一步不算什么,错了接着干才是事故
ai编程
kevin_org2 小时前
LangChain入门学习(四)
python·学习·langchain·fastapi
Flynt3 小时前
不装SDK手写了一遍MCP:最新规范已经没有initialize握手了
agent·ai编程·mcp
浪遏10 小时前
CLI Anything|让 AI 操作求职工作台:Flowing CLI 的产品与架构
aigc
小虎AI生活12 小时前
新出的 Hy4 flash 好用吗?我用 WorkBuddy 做了个小测试
aigc·ai编程
CocoaKier14 小时前
苹果开发者注意,请在2027年1月31日前完成合规验证,否则中国区可能下架
ios·aigc·apple
stormzhangV15 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
花椒技术15 小时前
Genie 4 刷屏之后,AI 视频生成正在走向下一阶段
agent·ai编程·音视频开发
孟健16 小时前
用T3 Code手机远程控制Claude Code完成周报总结实测
开源·ai编程·claude