大模型 API 核心概念笔记

读《深入理解 AI Agent:设计原理与工程实践》随记


1. 模型是无状态的

核心结论:模型无状态,上下文靠框架维护。

模型每次被调用,都是"全新的"------它不记得上一次对话说了什么。就像一个失忆症患者,每次见面都得重新自我介绍。

因此,Agent 框架必须每次都把完整的对话历史打包发给模型。

多轮对话示例

第一轮调用:

css 复制代码
messages: [
  { "role": "system",    "content": "你是一个编程助手" },
  { "role": "user",      "content": "你好,你是谁?" }
]

第二轮调用(必须带上历史):

css 复制代码
messages: [
  { "role": "system",    "content": "你是一个编程助手" },
  { "role": "user",      "content": "你好,你是谁?" },
  { "role": "assistant", "content": "我是编程助手,有什么可以帮你?" },
  { "role": "user",      "content": "帮我写个冒泡排序" }
]

如果只发最后一条,模型完全不知道前面聊了什么,上下文全丢了。


2. 消息的四种角色

角色 谁写的 作用
system 开发者 定义模型的"人设"和行为规则,通常只有一条,放在最前面
user 用户 用户的输入和请求
assistant 模型(上一轮) 模型之前的回答,拼回去让它"记住"自己说过什么
tool Agent 框架 工具执行完的结果,通过 tool_call_id 与对应请求关联

3. 模型 vs Agent 框架

模型只动嘴,框架负责动手。

  • 模型(LLM) :只负责"想"------读消息、推理、输出文字或工具调用请求。它本身什么也不执行。
  • Agent 框架:围绕模型跑的代码,负责维护 messages 列表、真正执行工具、把结果塞回 messages、决定是否再次调用模型。

4. 工具调用的完整流程(ReAct 循环的 API 实现)

以"Vancouver 现在天气怎么样?"为例:

复制代码
第一次调用
  用户提问 → 发给模型
  模型返回:我需要调用 get_weather 和 get_current_time(并行)

Agent 框架执行两个工具,拿到结果

第二次调用
  把工具结果追加到 messages → 再发给模型
  模型读到结果 → 直接回答用户

模型返回工具调用时,content 为 null,实际指令在 tool_calls 字段里:

python 复制代码
{
  "role": "assistant",
  "content": null,
  "tool_calls": [
    {
      "id": "call_abc123",
      "function": {
        "name": "get_current_time",
        "arguments": "{"timezone": "America/Vancouver"}"
      }
    }
  ]
}

这个"请求 → 工具调用 → 执行 → 送回结果 → 再请求"的循环,就是 ReAct 循环(Reason → Act → Observe)在 API 层面的具体实现。


5. API 返回格式:为什么是 choices

API 返回的顶层是 choices 数组,因为支持 n=3 这样的参数,让模型一次生成多个候选回答供你挑选。

实际开发中 99% 的情况都是 n=1(默认),直接取 choices[0].message 即可。

包一层数组是为了格式统一------不管要 1 个还是 N 个回复,调用方的处理代码不需要做特殊判断。


6. KV Cache 与首 Token 延迟(TTFT)

首 Token(TTFT)

TTFT = Time To First Token,即从发出请求到第一个字出现的等待时间。

名字虽然带 token,说的是时间,是衡量响应速度的延迟指标。

KV Cache

模型处理每个 token 时,会产生 Key 和 Value 两种中间计算结果。

  • 没有 KV Cache:每次调用都从头重新计算所有 token,包括 system prompt 和历史对话------慢。
  • 有 KV Cache:把算过的 K、V 缓存起来,下次复用,只计算新增的 token------快。

两者关系

messages 中已存在的 token(system prompt、历史对话)→ 直接读 KV Cache,跳过计算。

新增的 token(新的用户输入)→ 实时计算。

实际效果:

  • 第一次请求慢(冷启动,无缓存)
  • 后续请求快(命中缓存,复用已有计算)
  • 对话轮次越多,KV Cache 命中比例越高,TTFT 反而越稳定

这也是为什么 system prompt 要放在 messages 最前面------它永远不变,最容易被缓存复用。


笔记整理自《深入理解 AI Agent:设计原理与工程实践》(李博杰)阅读过程中的理解与讨论。

相关推荐
对你无可奈何22 分钟前
把零散的模型用起来:Magpie 接入 Trae,再折腾两个池子
人工智能
七夜zippoe37 分钟前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
AI导出鸭PC端40 分钟前
纳米AI怎么复制表格?对话导出总是格式崩塌,我用“AI 导出鸭”重构了工作流
人工智能·重构·豆包·ai导出鸭
AI导出鸭PC端1 小时前
用 AI 导出鸭高效处理:豆包导 pdf 怎么压缩但清晰
android·人工智能·pdf·豆包·ai导出鸭
装不满的克莱因瓶1 小时前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
数字融合1 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
知行产研2 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士3 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师3 小时前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能
AI前端工程狮3 小时前
我给 MCP 长任务做了持久化,结果造出一堆僵尸
人工智能·程序员