LangChain 七 Memory

欢迎来到我的LangChain系列,如果您也和我一样,想通过学习LangChain开始AI应用开发。那就请一起来学习它的各个功能模块和demo实例。

LangChain 一 hello LLM - 掘金 (juejin.cn)

LangChain 二 模型 - 掘金 (juejin.cn)

LangChain 三 Data Connections - 掘金 (juejin.cn)

LangChain 四 Prompts

LangChain 五 输出解析器

LangChain 六 链 - 掘金 (juejin.cn)

前言

LangChain为LLM聊天程序提供了记忆组件,以便我们将对话历史中的信息发送给LLM,更好地为用户提供上下文。本文,我们就来一起学习下LangChain是如何使用Memory组件来打理对话历史中的信息的。记忆组件因何而来?因为LLM不再简单的像条鱼,只有七秒记忆, 随着token上限的不断提升,我们可以将多次对话聊天信息和LLM返回,做为prompt的增量,交给LLM, 让LLM更懂我们,更好的完成工作。

Memory 交互

记忆组件就好像银行,我们可以将信息存(写)入,也可以从它里面取(读)出。另一方面会取记忆组件的信息用以增强前者。

所以,在每次与LLM的交互中,链会与记忆组件交互两次:

  • 用户完成输入后,在提交给LLM前,链从记组件读取历史信息,增强用户输入。
  • LLM返回结果后,链又会将当前用户的输入和输出写入到记忆组件,更新对话历史。

Memeory 组件类型

LangChain提供了ConversationBufferMemoryConversationBufferWindowMemoryConversationSummaryMemory三种基本记忆组件类型来完成记忆工作。

  • ConversationBufferMemory

ConversationBufferMemoryLangChain记忆组件中的劳模,为我们记录与LLM的对话历史信息。

我们要写入记忆组件的除了用户输入,记住还有模型输出。

python 复制代码
# 引入ConversationBufferMemory 类
from langchain.memory import ConversationBufferMemory
# 实例化memory组件
memory = ConversationBufferMemory()
# save_context 方法存储对话及LLM的输出
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
print(memory)

从下面的打印结果,我们可以看到LangChainMemory组件内部。HumanMessage代表用户输入,AIMessage代表LLM返回。

ini 复制代码
chat_memory=ChatMessageHistory(messages=[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]) output_key=None input_key=None return_messages=False human_prefix='Human' ai_prefix='AI' memory_key='history'

那么,我们如何去获取消息数据呢?看下面的代码:

memory.chat_memory.messages

打印结果如下,以数组的形式存入着消息对象。

python 复制代码
[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]

memory对象上还有一个load_memory_variables方法,会将我们的对话历史生成文本,而不是数组。这些消息之间以\n的形式隔开。

less 复制代码
memory.load_memory_variables({})

输出结果是:

arduino 复制代码
{'history': 'Human: Hi, LangChain!\nAI: Hey!'}

用了一下, 感觉ConversationBufferMemory挺简单的,适用于交互回合少,input和output字符量不大的情况。当随着messages数组的增大,我们知道,不管是memory.chat_memory.messages还是load_memory_variables都会导致增强后的提示词tokens超过LLM的上下文限制,导致调用LLM失败。那么,接下来,我们看下Memory组件还为我们提供了哪些杀手锏。

  • ConversationBufferWindowMemory

比上面的类型,多了一个window。ConversationBufferWindowMemory更好之处,在于可以方便的管理最近的K个交互。这让我们想到了滑动窗口机制,即规避了tokens的超载,同时又保证了上下文的有效性。省得开发者自己管理。所以,这里的window意思就是滑动窗口。

css 复制代码
memory = ConversationBufferWindowMemory( k=1)
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "Where are you?"}, {"output": "By your side"})

我们将k设置为1, 所以,总管在上面的代码中调用了save_context两次,Memory组件只会存一次对话信息。

我们调用load_memory_variables方法来看下结果:

arduino 复制代码
{'history': 'Human: Hi, LangChain!\nAI: Hey!\nHuman: Where are you?\nAI: By your side'}

果然,Memory组件只记住了最后一次对话。可见,LangChain的记忆组件,通过滑动窗口方便地帮助开发者完成指定数量(K)的对话信息。

  • ConversationSummaryMemory

ConversationSummaryMemory比较复杂了,这是为了解决tokens大小限制,在滑动窗口外的另一种方案。熟悉Embeding的同学应该会想到,当与LLM的对话次数越来越多,我们可以将load_memory_variables里的文本embedding后,再增强用户对话,这样也可以解决大小限制问题。ConversationBufferWindowMemory滑动窗口的K次截取,或多或少,还是会带来一些对话上下文的缺失,影响LLM与用户的交流。而ConversationSummaryMemory就好像看完一本书后,会写一篇总结,里面有多次会话的大概。这样,我们就不需要爱逐字逐句的把消息放入提示词占用太多Token, 而是先对历史进行总结,生成摘要,再交给prompt。

css 复制代码
from langchain.memory import ConversationSummaryMemory
from langchain.llms import OpenAI

memory = ConversationSummaryMemory(llm=OpenAI(temperature=0, openai_api_key="您的有效openai api key"))
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "How to start with Next.js development?"}, {"output": "You can get started with its official developer guide."})
memory.save_context({"input": "Show me the link of the guide."}, {"output": "I'm looking for you now. Please stand by!"})

memory.load_memory_variables({})

输出是:

vbnet 复制代码
{'history': '\nThe human greets the AI, LangChain, to which the AI responds with a friendly "Hey!" The human then asks how to start with Next.js development, to which the AI responds with instructions to use the official developer guide, and provides a link when asked.'}

现在,记忆内容不再是数组,而是每次都会更新多次聊天的summary。有效地防止了多次会话带来的tokens开销,特别是对话次数比较大的情况。

总结

  • 学习了ConversationBufferMemory类,了解Memory组件的save_contextchat_memory.messagesload_memory_variables方法
  • 围绕多次对话,为丰富聊天上下文带来的tokens开销增速快的问题,ConversationBufferWindowMemory使用滑动窗口思路,保存最近K次对话解决了此问题; ConversationSummaryMemory使用LLM的summarization能力也解决了,赞!

参考资料

相关推荐
喵~来学编程啦27 分钟前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
深圳市青牛科技实业有限公司40 分钟前
【青牛科技】应用方案|D2587A高压大电流DC-DC
人工智能·科技·单片机·嵌入式硬件·机器人·安防监控
水豚AI课代表1 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
几两春秋梦_1 小时前
符号回归概念
人工智能·数据挖掘·回归
用户691581141652 小时前
Ascend Extension for PyTorch的源码解析
人工智能
用户691581141652 小时前
Ascend C的编程模型
人工智能
成富3 小时前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
程序员X小鹿3 小时前
全部免费!6款AI对口型神器,让照片开口说话唱歌,早晚用得上,建议收藏!(附保姆级教程)
aigc
CSDN云计算3 小时前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
艾派森3 小时前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘