技术栈

推理成本

一枕槐安487
15 天前
大数据·人工智能·prompt·混合架构·推理成本·行为固化·知识边界
微调 vs Prompt:业务场景下两种方案成本 & 效果对比摘要 解决大模型业务适配中Prompt工程与微调选型缺乏量化依据、易陷入过度投资或效果不达标的问题。适用于需在推理量、延迟、一致性约束下做出架构决策的后端与算法工程师。读完可获得基于每日调用量、Prompt长度与准确率要求的具体盈亏平衡点,以及“微调固化行为、Prompt承载策略”的混合实践框架。
AI你一生一世
2 个月前
人工智能·大语言模型·注意力机制·rag·长上下文·上下文窗口·推理成本
Attention is all you have:当上下文成为唯一的护城河我是AI时代的无业游民,我游荡在现实与意念之间过去两年,主流大模型的上下文窗口从 8K 一路推到 1M 甚至 10M token。表面上看,这是"能塞更多文档"的工程红利;但在真实系统里,它带来的第一个问题不是性能,而是决策逻辑的崩塌。
小七-七牛开发者
5 个月前
缓存·agent·token·context·上下文·推理成本
TokenPilot:让 LLM Agent 长会话成本降 60%+ 的上下文管理今天解读的这篇论文叫 TokenPilot: Cache-Efficient Context Management for LLM Agents,作者来自浙江大学、电子科技大学、西安电子科技大学和 HomologyAI。
我是有底线的