LangChain 七 Memory

欢迎来到我的LangChain系列,如果您也和我一样,想通过学习LangChain开始AI应用开发。那就请一起来学习它的各个功能模块和demo实例。

LangChain 一 hello LLM - 掘金 (juejin.cn)

LangChain 二 模型 - 掘金 (juejin.cn)

LangChain 三 Data Connections - 掘金 (juejin.cn)

LangChain 四 Prompts

LangChain 五 输出解析器

LangChain 六 链 - 掘金 (juejin.cn)

前言

LangChain为LLM聊天程序提供了记忆组件,以便我们将对话历史中的信息发送给LLM,更好地为用户提供上下文。本文,我们就来一起学习下LangChain是如何使用Memory组件来打理对话历史中的信息的。记忆组件因何而来?因为LLM不再简单的像条鱼,只有七秒记忆, 随着token上限的不断提升,我们可以将多次对话聊天信息和LLM返回,做为prompt的增量,交给LLM, 让LLM更懂我们,更好的完成工作。

Memory 交互

记忆组件就好像银行,我们可以将信息存(写)入,也可以从它里面取(读)出。另一方面会取记忆组件的信息用以增强前者。

所以,在每次与LLM的交互中,链会与记忆组件交互两次:

  • 用户完成输入后,在提交给LLM前,链从记组件读取历史信息,增强用户输入。
  • LLM返回结果后,链又会将当前用户的输入和输出写入到记忆组件,更新对话历史。

Memeory 组件类型

LangChain提供了ConversationBufferMemoryConversationBufferWindowMemoryConversationSummaryMemory三种基本记忆组件类型来完成记忆工作。

  • ConversationBufferMemory

ConversationBufferMemoryLangChain记忆组件中的劳模,为我们记录与LLM的对话历史信息。

我们要写入记忆组件的除了用户输入,记住还有模型输出。

python 复制代码
# 引入ConversationBufferMemory 类
from langchain.memory import ConversationBufferMemory
# 实例化memory组件
memory = ConversationBufferMemory()
# save_context 方法存储对话及LLM的输出
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
print(memory)

从下面的打印结果,我们可以看到LangChainMemory组件内部。HumanMessage代表用户输入,AIMessage代表LLM返回。

ini 复制代码
chat_memory=ChatMessageHistory(messages=[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]) output_key=None input_key=None return_messages=False human_prefix='Human' ai_prefix='AI' memory_key='history'

那么,我们如何去获取消息数据呢?看下面的代码:

memory.chat_memory.messages

打印结果如下,以数组的形式存入着消息对象。

python 复制代码
[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]

memory对象上还有一个load_memory_variables方法,会将我们的对话历史生成文本,而不是数组。这些消息之间以\n的形式隔开。

less 复制代码
memory.load_memory_variables({})

输出结果是:

arduino 复制代码
{'history': 'Human: Hi, LangChain!\nAI: Hey!'}

用了一下, 感觉ConversationBufferMemory挺简单的,适用于交互回合少,input和output字符量不大的情况。当随着messages数组的增大,我们知道,不管是memory.chat_memory.messages还是load_memory_variables都会导致增强后的提示词tokens超过LLM的上下文限制,导致调用LLM失败。那么,接下来,我们看下Memory组件还为我们提供了哪些杀手锏。

  • ConversationBufferWindowMemory

比上面的类型,多了一个window。ConversationBufferWindowMemory更好之处,在于可以方便的管理最近的K个交互。这让我们想到了滑动窗口机制,即规避了tokens的超载,同时又保证了上下文的有效性。省得开发者自己管理。所以,这里的window意思就是滑动窗口。

css 复制代码
memory = ConversationBufferWindowMemory( k=1)
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "Where are you?"}, {"output": "By your side"})

我们将k设置为1, 所以,总管在上面的代码中调用了save_context两次,Memory组件只会存一次对话信息。

我们调用load_memory_variables方法来看下结果:

arduino 复制代码
{'history': 'Human: Hi, LangChain!\nAI: Hey!\nHuman: Where are you?\nAI: By your side'}

果然,Memory组件只记住了最后一次对话。可见,LangChain的记忆组件,通过滑动窗口方便地帮助开发者完成指定数量(K)的对话信息。

  • ConversationSummaryMemory

ConversationSummaryMemory比较复杂了,这是为了解决tokens大小限制,在滑动窗口外的另一种方案。熟悉Embeding的同学应该会想到,当与LLM的对话次数越来越多,我们可以将load_memory_variables里的文本embedding后,再增强用户对话,这样也可以解决大小限制问题。ConversationBufferWindowMemory滑动窗口的K次截取,或多或少,还是会带来一些对话上下文的缺失,影响LLM与用户的交流。而ConversationSummaryMemory就好像看完一本书后,会写一篇总结,里面有多次会话的大概。这样,我们就不需要爱逐字逐句的把消息放入提示词占用太多Token, 而是先对历史进行总结,生成摘要,再交给prompt。

css 复制代码
from langchain.memory import ConversationSummaryMemory
from langchain.llms import OpenAI

memory = ConversationSummaryMemory(llm=OpenAI(temperature=0, openai_api_key="您的有效openai api key"))
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "How to start with Next.js development?"}, {"output": "You can get started with its official developer guide."})
memory.save_context({"input": "Show me the link of the guide."}, {"output": "I'm looking for you now. Please stand by!"})

memory.load_memory_variables({})

输出是:

vbnet 复制代码
{'history': '\nThe human greets the AI, LangChain, to which the AI responds with a friendly "Hey!" The human then asks how to start with Next.js development, to which the AI responds with instructions to use the official developer guide, and provides a link when asked.'}

现在,记忆内容不再是数组,而是每次都会更新多次聊天的summary。有效地防止了多次会话带来的tokens开销,特别是对话次数比较大的情况。

总结

  • 学习了ConversationBufferMemory类,了解Memory组件的save_contextchat_memory.messagesload_memory_variables方法
  • 围绕多次对话,为丰富聊天上下文带来的tokens开销增速快的问题,ConversationBufferWindowMemory使用滑动窗口思路,保存最近K次对话解决了此问题; ConversationSummaryMemory使用LLM的summarization能力也解决了,赞!

参考资料

相关推荐
Elastic 中国社区官方博客3 分钟前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
jwolf24 分钟前
摸一下elasticsearch8的AI能力:语义搜索/vector向量搜索案例
人工智能·搜索引擎
有Li13 分钟前
跨视角差异-依赖网络用于体积医学图像分割|文献速递-生成式模型与transformer在医学影像中的应用
人工智能·计算机视觉
新加坡内哥谈技术33 分钟前
Mistral推出“Le Chat”,对标ChatGPT
人工智能·chatgpt
GOTXX41 分钟前
基于Opencv的图像处理软件
图像处理·人工智能·深度学习·opencv·卷积神经网络
IT古董1 小时前
【人工智能】Python在机器学习与人工智能中的应用
开发语言·人工智能·python·机器学习
CV学术叫叫兽1 小时前
快速图像识别:落叶植物叶片分类
人工智能·分类·数据挖掘
WeeJot嵌入式1 小时前
卷积神经网络:深度学习中的图像识别利器
人工智能
脆皮泡泡2 小时前
Ultiverse 和web3新玩法?AI和GameFi的结合是怎样
人工智能·web3
机器人虎哥2 小时前
【8210A-TX2】Ubuntu18.04 + ROS_ Melodic + TM-16多线激光 雷达评测
人工智能·机器学习