欢迎来到我的LangChain系列,如果您也和我一样,想通过学习LangChain开始AI应用开发。那就请一起来学习它的各个功能模块和demo实例。
LangChain 一 hello LLM - 掘金 (juejin.cn)
LangChain 二 模型 - 掘金 (juejin.cn)
前言
LangChain
为LLM聊天程序提供了记忆组件,以便我们将对话历史中的信息发送给LLM,更好地为用户提供上下文。本文,我们就来一起学习下LangChain
是如何使用Memory
组件来打理对话历史中的信息的。记忆组件因何而来?因为LLM不再简单的像条鱼,只有七秒记忆, 随着token上限的不断提升,我们可以将多次对话聊天信息和LLM返回,做为prompt的增量,交给LLM, 让LLM更懂我们,更好的完成工作。
Memory 交互
记忆组件就好像银行,我们可以将信息存(写)入,也可以从它里面取(读)出。另一方面会取记忆组件的信息用以增强前者。
所以,在每次与LLM的交互中,链会与记忆组件交互两次:
- 用户完成输入后,在提交给LLM前,链从记组件读取历史信息,增强用户输入。
- LLM返回结果后,链又会将当前用户的输入和输出写入到记忆组件,更新对话历史。
Memeory 组件类型
LangChain
提供了ConversationBufferMemory
、ConversationBufferWindowMemory
和ConversationSummaryMemory
三种基本记忆组件类型来完成记忆工作。
- ConversationBufferMemory
ConversationBufferMemory
是LangChain
记忆组件中的劳模,为我们记录与LLM的对话历史信息。
我们要写入记忆组件的除了用户输入,记住还有模型输出。
python
# 引入ConversationBufferMemory 类
from langchain.memory import ConversationBufferMemory
# 实例化memory组件
memory = ConversationBufferMemory()
# save_context 方法存储对话及LLM的输出
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
print(memory)
从下面的打印结果,我们可以看到LangChain
的Memory
组件内部。HumanMessage
代表用户输入,AIMessage
代表LLM返回。
ini
chat_memory=ChatMessageHistory(messages=[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]) output_key=None input_key=None return_messages=False human_prefix='Human' ai_prefix='AI' memory_key='history'
那么,我们如何去获取消息数据呢?看下面的代码:
memory.chat_memory.messages
打印结果如下,以数组的形式存入着消息对象。
python
[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]
memory对象上还有一个load_memory_variables
方法,会将我们的对话历史生成文本,而不是数组。这些消息之间以\n
的形式隔开。
less
memory.load_memory_variables({})
输出结果是:
arduino
{'history': 'Human: Hi, LangChain!\nAI: Hey!'}
用了一下, 感觉ConversationBufferMemory
挺简单的,适用于交互回合少,input和output字符量不大的情况。当随着messages数组的增大,我们知道,不管是memory.chat_memory.messages还是load_memory_variables都会导致增强后的提示词tokens超过LLM的上下文限制,导致调用LLM失败。那么,接下来,我们看下Memory组件还为我们提供了哪些杀手锏。
- ConversationBufferWindowMemory
比上面的类型,多了一个window。ConversationBufferWindowMemory
更好之处,在于可以方便的管理最近的K个交互。这让我们想到了滑动窗口机制,即规避了tokens的超载,同时又保证了上下文的有效性。省得开发者自己管理。所以,这里的window意思就是滑动窗口。
css
memory = ConversationBufferWindowMemory( k=1)
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "Where are you?"}, {"output": "By your side"})
我们将k设置为1, 所以,总管在上面的代码中调用了save_context两次,Memory组件只会存一次对话信息。
我们调用load_memory_variables
方法来看下结果:
arduino
{'history': 'Human: Hi, LangChain!\nAI: Hey!\nHuman: Where are you?\nAI: By your side'}
果然,Memory
组件只记住了最后一次对话。可见,LangChain
的记忆组件,通过滑动窗口方便地帮助开发者完成指定数量(K)的对话信息。
- ConversationSummaryMemory
ConversationSummaryMemory
比较复杂了,这是为了解决tokens大小限制,在滑动窗口外的另一种方案。熟悉Embeding
的同学应该会想到,当与LLM
的对话次数越来越多,我们可以将load_memory_variables里的文本embedding
后,再增强用户对话,这样也可以解决大小限制问题。ConversationBufferWindowMemory
滑动窗口的K次截取,或多或少,还是会带来一些对话上下文的缺失,影响LLM与用户的交流。而ConversationSummaryMemory
就好像看完一本书后,会写一篇总结,里面有多次会话的大概。这样,我们就不需要爱逐字逐句的把消息放入提示词占用太多Token, 而是先对历史进行总结,生成摘要,再交给prompt。
css
from langchain.memory import ConversationSummaryMemory
from langchain.llms import OpenAI
memory = ConversationSummaryMemory(llm=OpenAI(temperature=0, openai_api_key="您的有效openai api key"))
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "How to start with Next.js development?"}, {"output": "You can get started with its official developer guide."})
memory.save_context({"input": "Show me the link of the guide."}, {"output": "I'm looking for you now. Please stand by!"})
memory.load_memory_variables({})
输出是:
vbnet
{'history': '\nThe human greets the AI, LangChain, to which the AI responds with a friendly "Hey!" The human then asks how to start with Next.js development, to which the AI responds with instructions to use the official developer guide, and provides a link when asked.'}
现在,记忆内容不再是数组,而是每次都会更新多次聊天的summary。有效地防止了多次会话带来的tokens开销,特别是对话次数比较大的情况。
总结
- 学习了
ConversationBufferMemory
类,了解Memory组件的save_context
、chat_memory.messages
、load_memory_variables
方法 - 围绕多次对话,为丰富聊天上下文带来的tokens开销增速快的问题,
ConversationBufferWindowMemory
使用滑动窗口思路,保存最近K次对话解决了此问题;ConversationSummaryMemory
使用LLM
的summarization能力也解决了,赞!