技术栈
语义缓存
weisian151
24 天前
langchain
·
批处理
·
语义缓存
·
模型降级
进阶篇-LangChain篇-18--缓存与优化——语义缓存，批处理和模型降级策略
作者：Weisian 发布时间：2026年3月直击痛点：“上线了一个智能客服，用户问‘怎么修改密码’和‘如何重置密码’，模型每次都重新计算，API 调用费涨得飞快；业务高峰期，几十个并发请求直接把 API 速率限制打爆，用户等得直骂娘。大模型虽然能干，但成本高、速度慢——难道只能通过限制用户提问来降低成本？”
在未来等你
1 年前
java
·
向量数据库
·
ai大模型
·
spring ai
·
语义缓存
·
rag系统
·
多模态处理
互联网大厂Java求职面试：AI大模型融合下的企业知识库架构设计与性能优化
场景设定：某互联网大厂会议室，阳光透过落地窗洒在长桌上。技术总监李严肃端坐正中，手中拿着简历，眉头微皱。对面坐着穿着格子衫的程序员郑薪苦，手里握着一杯冰美式，脸上挂着标志性的憨笑。
在未来等你
1 年前
java
·
llm
·
milvus
·
向量数据库
·
rag
·
spring ai
·
语义缓存
互联网大厂Java求职面试：AI大模型推理服务性能优化与向量数据库分布式检索
技术总监：（翻看着简历）郑薪苦，你在上一家公司参与过LLM推理服务的性能优化项目？说说你们是怎么做的。
虹科网络安全
2 年前
redis
·
llm
·
大语言模型
·
向量数据库
·
语义缓存
艾体宝洞察丨透过语义缓存，实现更快、更智能的LLM应用程序
传统的缓存只存储数据而不考虑上下文，语义缓存则不同，它能理解用户查询背后的含义。它使数据访问更快，系统响应更智能，对 GenAI 应用程序至关重要。
我是有底线的