01 LLM简介

weixin_471383032026-08-02 15:07

LLM

一、LLM 是什么？

LLM（Large Language Model，大语言模型）是一种用海量文本训练出来的神经网络，核心能力是：根据已有文字，预测下一个最可能出现的文字，并反复这样做，从而「生成」一整段回复。Agent、聊天机器人、代码助手，底层几乎都是 LLM。后面调 API、写 Prompt、做 Function Calling 时容易踩坑。

二、Token 是什么？

Token 是模型处理文本的最小单位，不是「一个字 = 一个 token」。

英文："Hello world" 大约 2 个 token

中文："你好世界" 大约 4～8 个 token（因模型和分词器而异）

分词过程叫 Tokenization，由模型自带的 tokenizer 完成。

为什么重要

  • 计费：API 通常按 token 数收费（输入 + 输出）
  • 长度限制：上下文窗口用 token 衡量，不是字符数
  • 截断：超出窗口的内容会被截掉或报错，输入没超，但输出太长也会被截断

三、上下文窗口（Context Window）

上下文窗口 = 模型单次能「看到」的最大 token 数，输入 + 输出合计不能超过这个上限。多轮对话时，每一轮都要把历史消息再发一遍。历史越长，占用的 token 越多，迟早会顶到窗口上限。

四、模型（Model）是什么

模型 = 一套训练好的权重 + 对应的 tokenizer + 能力配置。调用 API 时要指定 model 参数，例如：

复制代码 
model = "deepseek-chat"   # 或 gpt-4o、qwen-plus 等

为什么有不同模型

维度 说明
能力 推理、代码、多语言强弱不同
速度 小模型快，大模型慢
价格 通常能力越强越贵
窗口 上下文上限不同

五、API 调用流程（核心）

#mermaid-svg-MPcR6lidxhP1yfBK{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-MPcR6lidxhP1yfBK .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-MPcR6lidxhP1yfBK .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-MPcR6lidxhP1yfBK .error-icon{fill:#552222;}#mermaid-svg-MPcR6lidxhP1yfBK .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-MPcR6lidxhP1yfBK .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-MPcR6lidxhP1yfBK .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-MPcR6lidxhP1yfBK .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-MPcR6lidxhP1yfBK .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-MPcR6lidxhP1yfBK .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-MPcR6lidxhP1yfBK .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-MPcR6lidxhP1yfBK .marker{fill:#333333;stroke:#333333;}#mermaid-svg-MPcR6lidxhP1yfBK .marker.cross{stroke:#333333;}#mermaid-svg-MPcR6lidxhP1yfBK svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-MPcR6lidxhP1yfBK p{margin:0;}#mermaid-svg-MPcR6lidxhP1yfBK .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-MPcR6lidxhP1yfBK .cluster-label text{fill:#333;}#mermaid-svg-MPcR6lidxhP1yfBK .cluster-label span{color:#333;}#mermaid-svg-MPcR6lidxhP1yfBK .cluster-label span p{background-color:transparent;}#mermaid-svg-MPcR6lidxhP1yfBK .label text,#mermaid-svg-MPcR6lidxhP1yfBK span{fill:#333;color:#333;}#mermaid-svg-MPcR6lidxhP1yfBK .node rect,#mermaid-svg-MPcR6lidxhP1yfBK .node circle,#mermaid-svg-MPcR6lidxhP1yfBK .node ellipse,#mermaid-svg-MPcR6lidxhP1yfBK .node polygon,#mermaid-svg-MPcR6lidxhP1yfBK .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-MPcR6lidxhP1yfBK .rough-node .label text,#mermaid-svg-MPcR6lidxhP1yfBK .node .label text,#mermaid-svg-MPcR6lidxhP1yfBK .image-shape .label,#mermaid-svg-MPcR6lidxhP1yfBK .icon-shape .label{text-anchor:middle;}#mermaid-svg-MPcR6lidxhP1yfBK .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-MPcR6lidxhP1yfBK .rough-node .label,#mermaid-svg-MPcR6lidxhP1yfBK .node .label,#mermaid-svg-MPcR6lidxhP1yfBK .image-shape .label,#mermaid-svg-MPcR6lidxhP1yfBK .icon-shape .label{text-align:center;}#mermaid-svg-MPcR6lidxhP1yfBK .node.clickable{cursor:pointer;}#mermaid-svg-MPcR6lidxhP1yfBK .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-MPcR6lidxhP1yfBK .arrowheadPath{fill:#333333;}#mermaid-svg-MPcR6lidxhP1yfBK .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-MPcR6lidxhP1yfBK .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-MPcR6lidxhP1yfBK .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MPcR6lidxhP1yfBK .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-MPcR6lidxhP1yfBK .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MPcR6lidxhP1yfBK .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-MPcR6lidxhP1yfBK .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-MPcR6lidxhP1yfBK .cluster text{fill:#333;}#mermaid-svg-MPcR6lidxhP1yfBK .cluster span{color:#333;}#mermaid-svg-MPcR6lidxhP1yfBK div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-MPcR6lidxhP1yfBK .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-MPcR6lidxhP1yfBK rect.text{fill:none;stroke-width:0;}#mermaid-svg-MPcR6lidxhP1yfBK .icon-shape,#mermaid-svg-MPcR6lidxhP1yfBK .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MPcR6lidxhP1yfBK .icon-shape p,#mermaid-svg-MPcR6lidxhP1yfBK .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-MPcR6lidxhP1yfBK .icon-shape .label rect,#mermaid-svg-MPcR6lidxhP1yfBK .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MPcR6lidxhP1yfBK .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-MPcR6lidxhP1yfBK .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-MPcR6lidxhP1yfBK :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 1. HTTP POST JSON
2. 鉴权 + 调度 + 选模型
3. tokenizer encode

prompt 文字 → token ID
4. 自回归推理

逐个生成 token ID
5. tokenizer decode

token ID → 回复文字
6. 统计 token 数

封装 JSON 响应
用户 / 你的程序
API 服务商
推理服务
GPU 集群 + 大模型

一句话对照

步骤 发生什么 谁在做
请求 发 JSON（含 prompt 文字） 你的程序
调度 鉴权、选模型、分配算力 API 服务商
Encode 文字 → token ID 推理服务（tokenizer）
推理 逐个生成新 token ID GPU + 大模型
Decode token ID → 文字 推理服务（tokenizer）
响应 JSON（content + usage） API 服务商 → 你的程序

术语对照

词 英文 是什么 在流程里对应
推理 Inference 一个动作：用已训练好的模型，根据输入算出输出 对照表第 4 步
推理服务 Inference Service 一套程序/系统：负责把请求送进模型、再把结果拿出来 Mermaid 里的 INF推理服务

GPU 集群

是跑大模型的物理算力，通常是一批装了 NVIDIA GPU（如 A100、H100）的服务器组成的集群。

大模型推理要做海量矩阵运算，GPU 很适合这种并行计算

API 服务商（OpenAI、DeepSeek 等）把模型部署在这些 GPU 上

你发请求 → 服务商调度 → 分配到某台/某组 GPU 上执行推理

所以流程里「GPU 集群，大模型」可以理解为：

概念 是什么
大模型 软件：训练好的 AI 模型本身
GPU 集群 硬件：运行这个模型的算力基础设施

两者配合：GPU 集群负责算，大模型负责生成 token。

典型响应结构

典型结构类似：

json 复制代码 
{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "你好！有什么可以帮你的？"   // 已是普通文字，不是 token
      }
    }
  ],
  "usage": {
    "prompt_tokens": 10,
    "completion_tokens": 8,
    "total_tokens": 18
  }
}

六、和 Agent 的关系

今天只建立地图，后面会细化：

复制代码 
Chatbot：  用户 → LLM → 回复（一轮或多轮）
Agent：    用户 → LLM →「我要调工具」→ 执行工具 → 结果再给 LLM → ... → 最终回复

LLM 在 Agent 里是决策者，不是唯一组件。工具、记忆、循环逻辑都是你自己写的代码

相关推荐
TunerT_TQ1 小时前
Valhalla 静态工程审阅 #009｜Continue 源码证据驱动评测【大厂开源基础设施特辑】
vscode·测试工具·开源·llm·github·jetbrains·ai编程助手
元Y亨H9 小时前
LangChain API 调用语言模型
langchain·llm
元Y亨H9 小时前
大模型技术 LangChain 概述
langchain·llm
元Y亨H9 小时前
大模型技术 提示词模板 概述
langchain·llm
元Y亨H15 小时前
大模型技术 模型调用结果解析 概述
google·langchain·llm
元Y亨H15 小时前
大模型技术 Ollama 概述
llm·ollama
chaors15 小时前
DeepResearchSystem 0x06：LLM as Judge
llm·agent·ai编程
武子康19 小时前
GPT-5.6 Luna 降价 80%：Agent 真正该重算的是单次成功成本
人工智能·chatgpt·llm
Michaelliu_dev1 天前
多模态大模型推理流程解析
人工智能·llm·多模态大模型·vit·llava·rope·mllm
热门推荐
01GitHub 镜像站点02如何新建文件夹？ 电脑新建文件夹的4种方法03国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）042026年7月AI圈大地震：GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片05微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新062026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？07AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路08Agnes AI 免费 API 接入指南：文本、生图、生视频，一套接口全免费09AI科技热点日报 | 2026年07月01日102026 年 AI 大模型 & AI 编程工具实战全总结