技术栈
推理成本
一枕槐安487
15 天前
大数据
·
人工智能
·
prompt
·
混合架构
·
推理成本
·
行为固化
·
知识边界
微调 vs Prompt:业务场景下两种方案成本 & 效果对比
摘要 解决大模型业务适配中Prompt工程与微调选型缺乏量化依据、易陷入过度投资或效果不达标的问题。适用于需在推理量、延迟、一致性约束下做出架构决策的后端与算法工程师。读完可获得基于每日调用量、Prompt长度与准确率要求的具体盈亏平衡点,以及“微调固化行为、Prompt承载策略”的混合实践框架。
AI你一生一世
2 个月前
人工智能
·
大语言模型
·
注意力机制
·
rag
·
长上下文
·
上下文窗口
·
推理成本
Attention is all you have:当上下文成为唯一的护城河
我是AI时代的无业游民,我游荡在现实与意念之间过去两年,主流大模型的上下文窗口从 8K 一路推到 1M 甚至 10M token。表面上看,这是"能塞更多文档"的工程红利;但在真实系统里,它带来的第一个问题不是性能,而是决策逻辑的崩塌。
小七-七牛开发者
5 个月前
缓存
·
agent
·
token
·
context
·
上下文
·
推理成本
TokenPilot:让 LLM Agent 长会话成本降 60%+ 的上下文管理
今天解读的这篇论文叫 TokenPilot: Cache-Efficient Context Management for LLM Agents,作者来自浙江大学、电子科技大学、西安电子科技大学和 HomologyAI。
我是有底线的