【LangChain系列 8】Prompt模版——少样本prompt模版(二)

原文地址:【LangChain系列 8】Prompt模版------少样本prompt模版(二)

本文速读:

  • 固定少样本prompt模版

  • 动态少样本prompt模版

在上篇文章中介绍了少样本模版的基本用法,本文将介绍 对话模型(chat model) 中 少样prompt模版的用法。LangChain封装了一些像FewShotChatMessagePromptTemplate的少样本prompt模版,在此基础上我们可以灵活的设计我们需要的 少样本prompt模版。少样本prompt模版 的目标就是可以根据输入去动态地选择样本,然后将选择的样本格式化到最后的prompt中去。

01 固定少样本prompt模版

最基本的少样本prompt技术是使用固定的prompt样本,所以对于一个少样本prompt模版至少要包含:

  • examples:用于prompt的样本数据

  • example_prompt:将每个样本数据转换成message

话不多说,下面将通过一个示例来介绍 固定少样本prompt模版 的使用。

  1. 导入相关模块
javascript 复制代码
from langchain.prompts import (
    FewShotChatMessagePromptTemplate,
    ChatPromptTemplate,
)
  1. 定义examples
ini 复制代码
examples = [
    {"input": "2+2", "output": "4"},
    {"input": "2+3", "output": "5"},
]
  1. 定义example_prompt
ini 复制代码
# This is a prompt template used to format each individual example.
example_prompt = ChatPromptTemplate.from_messages(
    [
        ("human", "{input}"),
        ("ai", "{output}"),
    ]
)
few_shot_prompt = FewShotChatMessagePromptTemplate(
    example_prompt=example_prompt,
    examples=examples,
)

print(few_shot_prompt.format())

执行代码,输出结果:

yaml 复制代码
  Human: 2+2  AI: 4  Human: 2+3  AI: 5
  1. 拼装最终的prompt
css 复制代码
final_prompt = ChatPromptTemplate.from_messages(
    [        ("system", "You are a wondrous wizard of math."),        few_shot_prompt,        ("human", "{input}"),    ]
)

from langchain.chat_models import ChatAnthropic

chain = final_prompt | ChatAnthropic(temperature=0.0)

chain.invoke({"input": "What's the square of a triangle?"})

ChatAnthropic是一个对话大语言模型,将最终的prompt输入给它,然后得到一个回答。执行代码,输出结果:

vbnet 复制代码
AIMessage(content=' Triangles do not have a "square". A square refers to a shape with 4 equal sides and 4 right angles. Triangles have 3 sides and 3 angles.\n\nThe area of a triangle can be calculated using the formula:\n\nA = 1/2 * b * h\n\nWhere:\n\nA is the area \nb is the base (the length of one of the sides)\nh is the height (the length from the base to the opposite vertex)\n\nSo the area depends on the specific dimensions of the triangle. There is no single "square of a triangle". The area can vary greatly depending on the base and height measurements.', additional_kwargs={}, example=False)

02 动态少样本prompt模版

有时我们可能需要从所有样本中动态选择更加符合要求的样本,此时我们只需要把examples替换成example_selector就可以了;那么动态的少样本prompt模版包含:

  • example_selector:根据输入从所有样本中选择部分样本数据

  • example_prompt:将每个样本数据转换成message

下面将介绍如何使用动态少样本prompt模版。

  1. 导入相关包
javascript 复制代码
from langchain.prompts import SemanticSimilarityExampleSelector
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
  1. 定义example,并向量化
ini 复制代码
examples = [
    {"input": "2+2", "output": "4"},
    {"input": "2+3", "output": "5"},
    {"input": "2+4", "output": "6"},
    {"input": "What did the cow say to the moon?", "output": "nothing at all"},
    {
        "input": "Write me a poem about the moon",
        "output": "One for the moon, and one for me, who are we to talk about the moon?",
    },
]

to_vectorize = [" ".join(example.values()) for example in examples]
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_texts(to_vectorize, embeddings, metadatas=examples)
  1. 创建example_selector
bash 复制代码
example_selector = SemanticSimilarityExampleSelector(
    vectorstore=vectorstore,
    k=2,
)

# The prompt template will load examples by passing the input do the `select_examples` method
example_selector.select_examples({"input": "horse"})

    [{'input': 'What did the cow say to the moon?', 'output': 'nothing at all'},
     {'input': '2+4', 'output': '6'}]
  1. 创建prompt模版
ini 复制代码
from langchain.prompts import (
    FewShotChatMessagePromptTemplate,
    ChatPromptTemplate,
)

# Define the few-shot prompt.
few_shot_prompt = FewShotChatMessagePromptTemplate(
    # The input variables select the values to pass to the example_selector
    input_variables=["input"],
    example_selector=example_selector,
    # Define how each example will be formatted.
    # In this case, each example will become 2 messages:
    # 1 human, and 1 AI
    example_prompt=ChatPromptTemplate.from_messages(
        [("human", "{input}"), ("ai", "{output}")]
    ),
)

输出结果:

yaml 复制代码
  Human: 2+3  AI: 5  Human: 2+2  AI: 4

few_shot_prompt会根据input,动态地从examples中去选择合适的example数据。

  1. 拼装最终的prompt
css 复制代码
final_prompt = ChatPromptTemplate.from_messages(
    [        ("system", "You are a wondrous wizard of math."),        few_shot_prompt,        ("human", "{input}"),    ]
)



from langchain.chat_models import ChatAnthropic

chain = final_prompt | ChatAnthropic(temperature=0.0)

chain.invoke({"input": "What's 3+3?"})

运行代码,输出结果:

ini 复制代码
AIMessage(content=' 3 + 3 = 6', additional_kwargs={}, example=False)

本文小结

本文主要介绍了在对话模型(chat model)中,使用少样本prompt模版的两种方式:固定样本和动态样本。动态样本可以根据用户输入,动态地选择合适的样本,最终组成prompt输入给LLM,从而LLM可以更好地理解prompt,给出更加符合要求的答案。

相关推荐
亚里随笔13 分钟前
L0:让大模型成为通用智能体的强化学习新范式
人工智能·llm·大语言模型·rlhf
白杆杆红伞伞20 分钟前
T01_神经网络
人工智能·深度学习·神经网络
槑槑紫1 小时前
深度学习pytorch整体流程
人工智能·pytorch·深度学习
盼小辉丶1 小时前
TensorFlow深度学习实战——去噪自编码器详解与实现
人工智能·深度学习·tensorflow
胖达不服输1 小时前
「日拱一码」020 机器学习——数据处理
人工智能·python·机器学习·数据处理
吴佳浩2 小时前
Python入门指南-AI模型相似性检测方法:技术原理与实现
人工智能·python·llm
kebijuelun2 小时前
百度文心 4.5 大模型详解:ERNIE 4.5 Technical Report
人工智能·深度学习·百度·语言模型·自然语言处理·aigc
算家计算2 小时前
ComfyUI-v0.3.43本地部署教程:新增 Omnigen 2 支持,复杂图像任务一步到位!
人工智能·开源
新智元2 小时前
毕业 7 年,身价破亿!清北 AI 天团血洗硅谷,奥特曼被逼分天价股份
人工智能·openai
新智元3 小时前
刚刚,苹果大模型团队负责人叛逃 Meta!华人 AI 巨星 + 1,年薪飙至 9 位数
人工智能·openai