基于语义相似度的动态少样本提示。它不是把所有示例都写死在提示词里,而是根据用户输入,从示例库中自动挑选最相关的几条,再拼成提示词交给大模型使用。
整体流程
先准备了一组评论情感分类示例,例如"这个手机拍照真好看"对应"正面","物流太慢了"对应"负面"。然后加载本地中文嵌入模型 bge-large-zh-v1.5,把文本转换成向量。接着用 Chroma 向量库和 SemanticSimilarityExampleSelector 构建一个语义相似度选择器,每次根据用户输入选出最相似的 3 条示例。最后通过 FewShotPromptTemplate 把这些示例和用户当前评论组合成完整提示词。
大模型在这里扮演什么角色
本身并没有直接调用大模型,它生成的是给大模型使用的提示词。
在这个例子里,大模型会收到类似这样的输入:
请判断一下评论的情感倾向:
评论:物流太慢了
情感:负面
评论:用了三天就坏了
情感:负面
大模型不需要重新训练,只要看到这些示例,就能模仿示例格式,把新评论判断为"负面"。这种方式叫少样本学习,也就是通过少量示例让模型理解任务规则。
关键词解释
| 关键词 | 含义 |
|---|---|
| 大模型 | 能够理解并生成自然语言的模型,可根据提示词完成分类、问答、生成等任务 |
| 提示词 | 交给大模型的输入文本,通常包含任务说明、示例和待处理内容 |
| 少样本提示 | 在提示词中提供少量示例,让大模型通过示例理解任务,而不是重新训练模型 |
| 动态示例选择 | 不固定使用所有示例,而是根据当前输入挑选最相关的示例 |
| 嵌入模型 | 把文本转换成向量的模型,语义相近的文本会对应相近的向量 |
| 向量库 | 用来存储文本向量并支持相似度检索的数据库,这里使用 Chroma |
| 语义相似度 | 判断两段文本在含义上是否接近,而不是只看字面是否相同 |
为什么需要动态选择示例
如果示例库很大,把所有示例都放进提示词会让输入变长,增加成本,也可能引入不相关内容。动态选择只保留与当前输入最接近的示例,既能控制长度,也能提高示例的相关性。
代码中的几个细节
HuggingFaceEmbeddings 使用的是本地路径 ./bge-large-zh-v1.5,说明嵌入模型是本地加载的。device='cpu' 表示在 CPU 上运行,如果模型较大,推理速度可能会慢一些。normalize_embeddings=True 会对向量做归一化,通常有助于提高余弦相似度计算的稳定性。
FewShotPromptTemplate 中的 prefix 是任务说明,suffix 是用户输入部分,example_prompt 决定每条示例如何展示。最终调用 prompt.format() 时,示例选择器会根据输入评论自动挑选示例,并生成完整提示词。
代码示例:
ini
from langchain_core.prompts import FewShotPromptTemplate,PromptTemplate
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_chroma import Chroma
import os
# 1.准备实例库
examples = [
{"input": "这个手机拍照真好看", "output": "正面"},
{"input": "用了三天就坏了", "output": "负面"},
{"input": "一般般吧", "output": "中性"},
{"input": "客服态度很好", "output": "正面"},
{"input": "物流太慢了", "output": "负面"},
{"input": "续航很给力", "output": "正面"},
{"input": "屏幕碎了", "output": "负面"},
{"input": "价格有点贵", "output": "中性"},
]
# 2.加载词嵌入模型
embeddings = HuggingFaceEmbeddings(
model_name=os.path.abspath('./bge-large-zh-v1.5'),
model_kwargs={'device':'cpu'},
encode_kwargs={'normalize_embeddings':True}
)
# 3.创建语义相似度选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
examples=examples,
embeddings=embeddings,
vectorstore_cls=Chroma,
k=3 #每次选择k个语义相似的示例
)
# 4.少样本示例
exapple_prompt = PromptTemplate(
input_variables=['input','output'],
template='评论:{input}\n情感:{output}'
)
prompt = FewShotPromptTemplate(
example_prompt=exapple_prompt,
example_selector=example_selector,
prefix='\n请判断一下评论的情感倾向:',
suffix='评论:{input_review}\n情感:',
input_variables=['input_review']
)
#5.测试
print(prompt.format(input_review="发货太慢了,等了很久"))
print(prompt.format(input_review="手机真好"))