技术栈
prompt caching
前端摸鱼匠
10 天前
ai agent
·
prompt caching
·
llm 优化，工具集设计
提示词缓存命中率翻倍，面向缓存设计你的工具集
很多资深工程师在构建 AI Agent 时，都经历过这样的困惑：明明代码逻辑没变，工具也还是那些工具，但随着会话进行，Token 消耗却像滚雪球一样失控，响应速度也越来越慢。我们习惯性地认为这是模型变“笨”了，或者是上下文太长导致的，于是拼命优化 RAG、压缩历史对话，却往往收效甚微。
阿杰学AI
4 个月前
人工智能
·
ai
·
语言模型
·
自然语言处理
·
aigc
·
prompt caching
·
提示词缓存
AI核心知识71——大语言模型之Prompt Caching （简洁且通俗易懂版）
Prompt Caching (提示词缓存) 是 2024 年下半年开始在各大模型厂商（如 Anthropic, Google, DeepSeek）中普及的一项“降本增效”黑科技 。
我是有底线的