LangChain 七 Memory

欢迎来到我的LangChain系列，如果您也和我一样,想通过学习LangChain开始AI应用开发。那就请一起来学习它的各个功能模块和demo实例。

LangChain 一 hello LLM - 掘金 (juejin.cn)

LangChain 二模型 - 掘金 (juejin.cn)

LangChain 三 Data Connections - 掘金 (juejin.cn)

LangChain 四 Prompts

LangChain 五输出解析器

LangChain 六链 - 掘金 (juejin.cn)

前言

LangChain为LLM聊天程序提供了记忆组件，以便我们将对话历史中的信息发送给LLM，更好地为用户提供上下文。本文，我们就来一起学习下LangChain是如何使用Memory组件来打理对话历史中的信息的。记忆组件因何而来？因为LLM不再简单的像条鱼，只有七秒记忆，随着token上限的不断提升，我们可以将多次对话聊天信息和LLM返回，做为prompt的增量，交给LLM, 让LLM更懂我们，更好的完成工作。

Memory 交互

记忆组件就好像银行，我们可以将信息存（写）入，也可以从它里面取（读）出。另一方面会取记忆组件的信息用以增强前者。

所以，在每次与LLM的交互中，链会与记忆组件交互两次：

用户完成输入后，在提交给LLM前，链从记组件读取历史信息，增强用户输入。
LLM返回结果后，链又会将当前用户的输入和输出写入到记忆组件，更新对话历史。

Memeory 组件类型

LangChain提供了ConversationBufferMemory、ConversationBufferWindowMemory和ConversationSummaryMemory三种基本记忆组件类型来完成记忆工作。

ConversationBufferMemory

ConversationBufferMemory是LangChain记忆组件中的劳模，为我们记录与LLM的对话历史信息。

我们要写入记忆组件的除了用户输入，记住还有模型输出。

python 复制代码

# 引入ConversationBufferMemory 类
from langchain.memory import ConversationBufferMemory
# 实例化memory组件
memory = ConversationBufferMemory()
# save_context 方法存储对话及LLM的输出
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
print(memory)

从下面的打印结果，我们可以看到LangChain的Memory组件内部。HumanMessage代表用户输入，AIMessage代表LLM返回。

ini 复制代码

chat_memory=ChatMessageHistory(messages=[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]) output_key=None input_key=None return_messages=False human_prefix='Human' ai_prefix='AI' memory_key='history'

那么，我们如何去获取消息数据呢？看下面的代码：

复制代码

memory.chat_memory.messages

打印结果如下,以数组的形式存入着消息对象。

python 复制代码

[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]

memory对象上还有一个load_memory_variables方法，会将我们的对话历史生成文本，而不是数组。这些消息之间以\n的形式隔开。

less 复制代码

memory.load_memory_variables({})

输出结果是：

arduino 复制代码

{'history': 'Human: Hi, LangChain!\nAI: Hey!'}

用了一下，感觉ConversationBufferMemory挺简单的，适用于交互回合少，input和output字符量不大的情况。当随着messages数组的增大，我们知道，不管是memory.chat_memory.messages还是load_memory_variables都会导致增强后的提示词tokens超过LLM的上下文限制，导致调用LLM失败。那么，接下来，我们看下Memory组件还为我们提供了哪些杀手锏。

ConversationBufferWindowMemory

比上面的类型，多了一个window。ConversationBufferWindowMemory更好之处，在于可以方便的管理最近的K个交互。这让我们想到了滑动窗口机制，即规避了tokens的超载，同时又保证了上下文的有效性。省得开发者自己管理。所以，这里的window意思就是滑动窗口。

css 复制代码

memory = ConversationBufferWindowMemory( k=1)
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "Where are you?"}, {"output": "By your side"})

我们将k设置为1，所以，总管在上面的代码中调用了save_context两次，Memory组件只会存一次对话信息。

我们调用load_memory_variables方法来看下结果：

arduino 复制代码

{'history': 'Human: Hi, LangChain!\nAI: Hey!\nHuman: Where are you?\nAI: By your side'}

果然，Memory组件只记住了最后一次对话。可见，LangChain的记忆组件，通过滑动窗口方便地帮助开发者完成指定数量(K)的对话信息。

ConversationSummaryMemory

ConversationSummaryMemory比较复杂了，这是为了解决tokens大小限制，在滑动窗口外的另一种方案。熟悉Embeding的同学应该会想到，当与LLM的对话次数越来越多，我们可以将load_memory_variables里的文本embedding后，再增强用户对话，这样也可以解决大小限制问题。ConversationBufferWindowMemory滑动窗口的K次截取，或多或少，还是会带来一些对话上下文的缺失，影响LLM与用户的交流。而ConversationSummaryMemory就好像看完一本书后，会写一篇总结，里面有多次会话的大概。这样，我们就不需要爱逐字逐句的把消息放入提示词占用太多Token, 而是先对历史进行总结，生成摘要，再交给prompt。

css 复制代码

from langchain.memory import ConversationSummaryMemory
from langchain.llms import OpenAI

memory = ConversationSummaryMemory(llm=OpenAI(temperature=0, openai_api_key="您的有效openai api key"))
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "How to start with Next.js development?"}, {"output": "You can get started with its official developer guide."})
memory.save_context({"input": "Show me the link of the guide."}, {"output": "I'm looking for you now. Please stand by!"})

memory.load_memory_variables({})

输出是:

vbnet 复制代码

{'history': '\nThe human greets the AI, LangChain, to which the AI responds with a friendly "Hey!" The human then asks how to start with Next.js development, to which the AI responds with instructions to use the official developer guide, and provides a link when asked.'}

现在，记忆内容不再是数组，而是每次都会更新多次聊天的summary。有效地防止了多次会话带来的tokens开销，特别是对话次数比较大的情况。

总结

学习了ConversationBufferMemory类，了解Memory组件的save_context、chat_memory.messages、load_memory_variables方法
围绕多次对话，为丰富聊天上下文带来的tokens开销增速快的问题，ConversationBufferWindowMemory使用滑动窗口思路，保存最近K次对话解决了此问题; ConversationSummaryMemory使用LLM的summarization能力也解决了，赞！

LangChain 七 Memory

前言

Memory 交互

Memeory 组件类型

总结

参考资料