langchain 缓存 Caching

使用 LangChain 框架连接 DeepSeek API 的初始化代码

python 复制代码
from langchain_deepseek import ChatDeepSeek
chat = ChatDeepSeek(
    model="deepseek-chat",
    temperature=0,
    api_key=API_KEY,
)

1. 内存缓存

python 复制代码
from langchain.globals import set_llm_cache #用于设置全局的LLM缓存机制。
from langchain.cache import InMemoryCache #将缓存数据存储在内存中,而不是磁盘上,需要 pip install langchain-community
set_llm_cache(InMemoryCache()) #使用内存缓存来存储和检索LLM的调用结果。
chat.invoke("3只鸭子几条腿?")
chat.invoke("3只鸭子几条腿?") # 当提问第2次一模一样的问题时,返回速度相当快

2. 硬盘缓存

python 复制代码
from langchain.globals import set_llm_cache
from langchain.cache import SQLiteCache
set_llm_cache(SQLiteCache(database_path="./langchain.db")) # 会在当前目录生成 langchain.db 文件

#加入问答到缓存中
chat.invoke("讲一个10个字的故事?")
chat.invoke("讲一个10个字的故事?")
相关推荐
孤独的人7 小时前
WordPress 性能优化:从插件到 CDN 的全方位缓存设置指南
spring·缓存·性能优化
MAGICIAN...19 小时前
【Redis】--持久化机制
数据库·redis·缓存
我真的是大笨蛋19 小时前
JVM调优总结
java·jvm·数据库·redis·缓存·性能优化·系统架构
拾忆,想起1 天前
Redis复制延迟全解析:从毫秒到秒级的优化实战指南
java·开发语言·数据库·redis·后端·缓存·性能优化
破烂儿1 天前
基于机器学习的缓存准入策略研究
人工智能·机器学习·缓存
参.商.1 天前
【Day21】146.LRU缓存 (Least Recently Used)
leetcode·缓存·golang
Dorcas_FE1 天前
axios请求缓存与重复拦截:“相同请求未完成时,不发起新请求”
前端·spring·缓存
知其然亦知其所以然1 天前
三分钟接入!SpringAI 玩转 Perplexity 聊天模型实战
后端·spring·langchain
用户9125188677671 天前
LangChain集成Qwen大模型多种方式分享与最佳实践
langchain