langchain 缓存 Caching

使用 LangChain 框架连接 DeepSeek API 的初始化代码

python 复制代码
from langchain_deepseek import ChatDeepSeek
chat = ChatDeepSeek(
    model="deepseek-chat",
    temperature=0,
    api_key=API_KEY,
)

1. 内存缓存

python 复制代码
from langchain.globals import set_llm_cache #用于设置全局的LLM缓存机制。
from langchain.cache import InMemoryCache #将缓存数据存储在内存中,而不是磁盘上,需要 pip install langchain-community
set_llm_cache(InMemoryCache()) #使用内存缓存来存储和检索LLM的调用结果。
chat.invoke("3只鸭子几条腿?")
chat.invoke("3只鸭子几条腿?") # 当提问第2次一模一样的问题时,返回速度相当快

2. 硬盘缓存

python 复制代码
from langchain.globals import set_llm_cache
from langchain.cache import SQLiteCache
set_llm_cache(SQLiteCache(database_path="./langchain.db")) # 会在当前目录生成 langchain.db 文件

#加入问答到缓存中
chat.invoke("讲一个10个字的故事?")
chat.invoke("讲一个10个字的故事?")
相关推荐
Stream_Silver6 小时前
《LangChain入门指南》学习笔记1:第1章 LangChain:开启大语言模型时代的钥匙
笔记·学习·langchain
洲覆7 小时前
Redis 64字节分界线与跳表实现原理
数据结构·数据库·redis·缓存
code123137 小时前
redis升级方法
数据库·redis·缓存
工藤学编程11 小时前
零基础学AI大模型之LangChain-PromptTemplate
人工智能·langchain
铜峰叠翠11 小时前
Redis安装配置
数据库·redis·缓存
脚踏实地的大梦想家13 小时前
【LangChain】P2 LangChain宏观架构深度解析:构建企业级大模型应用的首选框架
架构·langchain
Liquad Li13 小时前
Salesforce 生态中的缓存、消息队列和流处理
缓存·架构·salesforce
哲Zheᗜe༘13 小时前
了解学习Nginx反向代理与缓存功能
学习·nginx·缓存
梅孔立13 小时前
基于 Service Worker 的图书馆资源缓存技术研究
缓存
小哈里13 小时前
【后端开发】golang部分中间件介绍(任务调度/服务治理/数据库/缓存/服务通信/流量治理)
数据库·缓存·中间件·golang·后端开发