Stanford CS336 Lecture 10:大语言模型推理与性能优化

课程:Stanford CS336(2026 Spring),Lecture 10 --- Inference

阅读目标:理解大模型推理为什么慢、性能如何衡量,以及 KV Cache、注意力结构、量化、投机解码和推理调度各解决什么问题。

一、核心结论与知识框架

一句话总结:大模型的自回归解码难以并行,往往受到显存带宽与 KV Cache 读取开销限制;优化推理需要同时关注模型结构、内存占用和请求调度。

graph TB A[大模型推理优化] --> B[性能分析] A --> C[模型优化] A --> D[解码算法] A --> E[推理系统] B --> B1[TTFT和TPOT] B --> B2[计算强度] B --> B3[吞吐量和延迟] C --> C1[减少KV Cache] C --> C2[量化] C --> C3[剪枝和蒸馏] D --> D1[投机解码] E --> E1[连续批处理] E --> E2[分页注意力]

本讲应记住五点:

  1. 训练与推理负载不同:训练已知整个目标序列,可以并行计算;自回归生成必须依次确定新 Token。
  2. Prefill 与 Decode 的瓶颈不同:Prefill 通常更接近计算密集型,Decode 通常更接近带宽密集型。
  3. KV Cache 是核心资源:节省重复计算,但随着上下文长度和并发量增加而占用更多显存。
  4. 延迟与吞吐量需要权衡:更大 Batch 通常能提高整体吞吐量,也可能增加单个请求的等待和执行延迟。
  5. 不存在脱离质量的加速:量化、压缩、剪枝等方案都需要验证模型能力是否下降;标准投机采样则可以在特定算法条件下保持目标模型的采样分布。

二、推理为什么重要

训练通常是一次性的高成本投入,而推理会在模型提供服务期间持续发生。

典型推理工作负载包括:

  • 聊天与代码补全:关注响应速度和交互体验。
  • Agent 工作流:模型可能反复规划、调用工具、反思和继续生成,内部 Token 消耗不一定由人类阅读速度限制。
  • 批量数据处理:关注单位时间处理的数据量和单位 Token 成本。
  • 模型评测:需要生成模型回答并计算任务指标。
  • 强化学习:需要大量 Rollout 采样、评分和策略更新。

课程提到的推理软件包括 vLLM、SGLang、TensorRT-LLM 和 llama.cpp。它们面向的硬件、部署场景和优化重点有所不同。

三、推理的两个阶段:Prefill 与 Decode

graph TB A[输入Prompt] --> B[Prefill并行处理] B --> C[初始化KV Cache] C --> D[生成首个Token] D --> E[Decode读取历史KV] E --> F[生成下一个Token] F --> G[追加新的KV] G --> H{是否结束} H -->|否| E H -->|是| I[输出完成]

3.1 Prefill

Prefill 接收完整 Prompt,在 Transformer 中并行处理输入位置,计算注意力及各层表示,并建立这些输入位置的 KV Cache。

其特点是:

  • 已知输入 Token,可以在序列维度并行计算。
  • 矩阵乘法规模较大,通常更容易充分利用 GPU 算力。
  • 输入越长、并发请求越多,计算量也会增加。
  • TTFT 通常与 Prefill 时间密切相关,但实际 TTFT 还包括排队、调度及其他开销。

3.2 Decode

Decode 根据当前上下文不断预测下一个 Token。因为后一个 Token 依赖前一个 Token 的生成结果,单条序列通常不能像 Prefill 那样一次性并行生成所有输出。

其特点是:

  • 每步通常为每个请求生成一个 Token。
  • 可以复用已有 KV Cache,无须重新计算整段历史的 K、V。
  • 每次仍需要读取模型参数和历史 KV Cache。
  • 生成速度常受显存带宽、KV Cache 大小及调度效率制约。

3.3 为什么需要 KV Cache

不使用缓存时,一个朴素实现会在生成每个新 Token 时重复处理全部历史序列,造成大量冗余计算。对于课程所分析的朴素全量注意力重复计算方式,生成长度为 T 的序列时,仅按注意力主导项累计可得到立方量级的开销。

KV Cache 利用因果注意力的性质:追加未来 Token 不会改变已有位置的 K、V。历史 K、V 因此可以被缓存并复用。

为什么主要缓存 K、V,而不是历史 Q? 当前新 Token 的 Query 需要与历史 Key 匹配,并聚合历史 Value;历史 Query 不参与当前 Token 的这次注意力计算。

四、KV Cache 显存如何估算

对于采用常规 KV Cache 的 Transformer,课程给出的计算方法为:
MKV =2×B×S×L×K×H×P M_{KV}=2\times B\times S\times L\times K\times H\times P MKV=2×B×S×L×K×H×P

其中:

符号 含义
B 同时缓存的序列数量
S 每条序列缓存的 Token 数
L Transformer 层数
K 每层 KV Heads 的数量
H 单个 Head 的维度
P 每个元素占用的字节数,BF16 通常为 2
前面的 2 分别存储 Key 和 Value

例如,有 40 层、40 个 KV Heads、Head Dimension 为 128、上下文 1024 Token,并使用 BF16,则每条序列的 KV Cache 为:
MKV,seq =2×1024×40×40×128×2 M_{KV,seq}=2\times1024\times40\times40\times128\times2 MKV,seq=2×1024×40×40×128×2
MKV,seq =838860800 Bytes≈800 MiB M_{KV,seq}=838860800\ \text{Bytes}\approx 800\ \text{MiB} MKV,seq=838860800 Bytes≈800 MiB

因此,在同一模型架构和精度下:

  • B 翻倍,KV Cache 总显存近似翻倍。
  • S 翻倍,KV Cache 总显存近似翻倍。
  • K 减少到原来的四分之一,KV Cache 也相应减少到约四分之一。

实际服务还存在 Block 管理、不同序列长度、混合注意力架构、量化 KV Cache 等因素;公式是基础容量估算,不等同于完整 GPU 显存使用量。

五、推理性能指标

指标 英文 含义 典型关注点
首 Token 延迟 TTFT 请求发起后到收到首 Token 的时间 交互体验
每输出 Token 时间 TPOT 后续输出 Token 之间的平均间隔 流式生成速度
请求延迟 Latency 单个请求完成所需时间 用户体验与 SLA
吞吐量 Throughput 单位时间内系统生成的 Token 总数 高并发和批量处理
显存占用 Memory Usage 参数、KV Cache 和运行时等占用显存 部署容量

对于生成 N 个 Token 的请求,在忽略其他波动时,可以粗略表示为:
Ttotal ≈TTFT+(N−1)×TPOT T_{total}\approx TTFT+(N-1)\times TPOT Ttotal≈TTFT+(N−1)×TPOT

例如 TTFT = 0.5s、生成 100 个 Token、TPOT = 0.02s,则:
Ttotal ≈0.5+99×0.02=2.48s T_{total}\approx0.5+99\times0.02=2.48s Ttotal≈0.5+99×0.02=2.48s

这是工程解释示例,并非讲义给出的实测性能。

六、计算强度:推理为何容易成为带宽瓶颈

6.1 Arithmetic Intensity

计算强度表示每传输一个字节数据,完成多少次浮点运算:
AI= FLOPsBytes Transferred AI=\frac{FLOPs}{Bytes\ Transferred} AI=Bytes TransferredFLOPs

课程使用硬件的计算能力与显存带宽之比,作为判断 Compute-bound 与 Memory-bound 的近似分界:
A Ihardware = Peak FLOPs/sMemory Bandwidth AI_{hardware}=\frac{Peak\ FLOPs/s}{Memory\ Bandwidth} AIhardware=Memory BandwidthPeak FLOPs/s

对于课件中的 H100 示例,使用 989 TFLOPS 与 3.35 TB/s,得到:
A Ihardware ≈9893.35≈295 FLOPs/Byte AI_{hardware}\approx\frac{989}{3.35}\approx295\ \text{FLOPs/Byte} AIhardware≈3.35989≈295 FLOPs/Byte

在相应精度和理想 Roofline 假设下:

  • 算子计算强度高于分界值,更可能受到计算能力限制。
  • 算子计算强度低于分界值,更可能受到显存带宽限制。

注意:295 不是所有 H100 模式、所有 GPU 或所有算子的固定阈值;它来自课件采用的特定峰值规格。

6.2 一个矩阵乘法例子

设输入 X 的形状为 B×D,权重 W 的形状为 D×F,计算 Y=XW。若数据使用 BF16,忽略缓存及融合等优化,则:
FLOPs=2BDFFLOPs=2BDF FLOPs=2BDF
Bytes=2BD+2DF+2BFBytes=2BD+2DF+2BF Bytes=2BD+2DF+2BF
AI= 2BDF2BD+2DF+2BF AI=\frac{2BDF}{2BD+2DF+2BF} AI=2BD+2DF+2BF2BDF

当 D 和 F 远大于 B 时,课程将它近似为:
AI≈BAI\approx B AI≈B

这说明批量越大,一次读取的权重可服务的样本越多,计算强度越高;反之,B=1 的矩阵向量乘法很容易成为 Memory-bound。

6.3 MLP 与 Attention 的对比

课件进一步推导出以下近似计算强度:

模块 Prefill Decode
MLP B×S B
Attention S/2 S/(S+1),小于 1

对应的关键表达式为:
A IMLP ≈B×T AI_{MLP}\approx B\times T AIMLP≈B×T
A IAttention = S×TS+T AI_{Attention}=\frac{S\times T}{S+T} AIAttention=S+TS×T

其中 S 表示历史或被关注的 Token 数,T 表示当前一次参与计算的目标位置数。Prefill 中 T=S;Decode 中 T=1。

核心差异:

  • MLP 权重在不同序列之间共享,提高 Batch Size 能摊薄权重读取成本。
  • Attention 所需的历史 KV Cache 因请求而异。增加 Batch Size 的同时,也增加各自 KV 的读取量。
  • 因此,增加 Batch Size 可以改善 MLP 的计算强度,但不能用同样方法解决 Decode Attention 的低计算强度问题。

由此得到课程中的重要结论:Prefill 通常更接近 Compute-bound,Decode 尤其是 Attention 部分通常更接近 Memory-bound。 真实部署还会受到模型大小、序列长度、Kernel、硬件以及并发量等因素影响。

七、Batch Size:延迟与吞吐量的权衡

课程在理想带宽模型中,用如下关系估算单步生成耗时:
Latency≈ Mweights +B× MKV,seq Bandwidth Latency\approx\frac{M_{weights}+B\times M_{KV,seq}}{Bandwidth} Latency≈BandwidthMweights+B×MKV,seq

每轮可为 B 条序列生成 Token,因此近似吞吐量为:
Throughput≈ BLatency Throughput\approx\frac{B}{Latency} Throughput≈LatencyB

这带来一个直观结果:

  • 增加 Batch Size 可以摊薄模型权重读取成本,通常提高总吞吐量。
  • 增加 Batch Size 也会增加 KV Cache 读取量,从而增加每一轮 Decode 的耗时。
  • Batch Size 增大到一定程度后,吞吐量收益递减,并可能达到显存上限。

课件以 Llama 2 13B、H100、BF16 和 1024 Token 为例,计算出以下理想估算值:

Batch Size 理想显存占用 理想每轮耗时 理想总吞吐量
1 约 26.87 GB 约 8.02 ms 约 125 Token/s
64 约 79.72 GB 约 23.80 ms 约 2690 Token/s
256 约 240.78 GB 约 71.87 ms 约 3562 Token/s

这些是按课件公式计算的理想带宽模型结果,不代表实际服务 Benchmark;Batch 256 的显存需求也超过了示例 H100 80GB 的容量。

八、减少 KV Cache:从 GQA 到 MLA

8.1 GQA:分组查询注意力

GQA(Grouped Query Attention)让多个 Query Heads 共享一组 Key、Value Heads。

  • MHA:Query Heads 数等于 KV Heads 数。
  • MQA:所有 Query Heads 共享一组 KV。
  • GQA:介于两者之间,形成若干 KV 分组。

若 Query Heads 为 N、KV Heads 为 K,则相对于 MHA:
Compression Ratio=NKCompression\ Ratio=\frac{N}{K} Compression Ratio=KN

例如 N=32、K=8,KV Cache 的 K、V Head 部分可以缩减到原来的四分之一。

GQA 的价值是以一定的建模结构约束换取更低的缓存成本。课件指出,不同模型和任务上的质量表现需要实测,不能假定完全无损。

8.2 MLA:多头潜在注意力

MLA(Multi-head Latent Attention)是 DeepSeek-V2 相关工作采用的 KV 压缩方法。它不只减少 KV Heads,而是把原始隐藏状态投影为更小的潜在表示,缓存压缩后的向量,需要时通过投影参与注意力计算。

graph LR A[隐藏状态] --> B[低维投影] B --> C[潜在向量] C --> D[缓存潜在向量] D --> E[注意力计算]

讲义中的 DeepSeek-V2 例子:原始高维信息约为 16384 维,潜在向量压缩至 512 维,并额外使用约 64 维处理 RoPE 相关位置信息。由于 RoPE 与低秩压缩之间存在兼容性问题,实际 MLA 设计还需要专门处理位置编码。

GQA 与 MLA 的本质差异:GQA 主要减少 KV Heads 数量,MLA 主要压缩需要存储的 KV 表示维度。

8.3 其他注意力结构

方法 核心思想 主要权衡
CLA 多个网络层共享 KV Cache 减少跨层重复存储,需检查质量
Sliding Window Attention 只关注最近固定窗口 长程信息可能受损
Hybrid Attention 局部层与全局层交替 在性能和长程依赖之间折中
Linear Attention 用压缩状态表示长历史 长历史信息可能难以精确找回
Sparse Attention 选择重要历史 Token 参与计算 需要有效的选择机制

课程还简述了 DeepSeek 的压缩与稀疏注意力方向,包括 CSA、DSA、HCA。课堂重点是它们的共同目的:减少需要存储或访问的历史信息,在保持能力的前提下降低推理开销。

九、量化、剪枝与蒸馏

9.1 量化

量化通过降低权重或激活精度,减少存储和数据传输量。

数值格式 每个参数理论存储 4B 参数权重理论大小
FP32 4 Byte 16 GB
BF16 或 FP16 2 Byte 8 GB
FP8 或 INT8 1 Byte 4 GB
INT4 0.5 Byte 2 GB

上述数据仅计算权重本体,不包括量化元数据、KV Cache、工作区及其他运行时内存。

量化主要有两类:

  • PTQ:训练完成后再量化,工程成本较低。讲义介绍了 GPTQ、AWQ 等方法。
  • QAT:训练时模拟量化和反量化误差,让模型主动适应低精度表示,训练成本更高。

GPTQ 利用与二阶误差信息相关的近似方法逐层处理量化误差。AWQ 则关注激活值表明的重要权重通道,尽量减轻关键通道的量化损失。

注意:精度降低不等于必然加速。还需要硬件对数据格式的支持,以及推理框架中对应 Kernel 的实现。

9.2 剪枝与蒸馏

剪枝直接移除不重要的层、Attention Heads 或隐藏维度,使网络规模减小。由于能力可能下降,通常还需要继续训练或知识蒸馏。

graph LR A[原始大模型] --> B[评估结构重要性] B --> C[剪除部分结构] C --> D[得到小模型] D --> E[蒸馏恢复能力] E --> F[部署与评估]

课件提到 NVIDIA 相关工作利用结构剪枝和后续恢复训练,将约 15B 规模的模型缩小到约 8B,并在特定评测中保持较好的能力。

与从零训练小模型相比,这条路线能够复用大模型已经学到的知识;但重要性判断和恢复训练仍然需要数据、算力和评估体系。

十、投机解码:用小模型猜,用大模型验证

标准自回归生成逐个 Token 运行目标大模型,速度受限。投机解码利用了一个不对称性:给定一段候选 Token 后,大模型能够并行计算各位置的预测分布;这往往比大模型逐个生成候选更高效。

graph TB A[输入上下文] --> B[小模型生成候选] B --> C[大模型并行验证] C --> D{候选是否接受} D -->|接受| E[保留候选Token] D -->|拒绝| F[按残差分布修正] E --> G[更新上下文] F --> G G --> H{生成是否结束} H -->|否| B H -->|是| I[输出完成]

设 p 是 Draft Model 的预测分布,q 是 Target Model 的预测分布。对从 p 采样得到的候选 Token x,课件给出接受概率:
Paccept (x)=min⁡ (1, q(x)p(x) ) P_{accept}(x)=\min\left(1,\frac{q(x)}{p(x)}\right) Paccept(x)=min(1,p(x)q(x))

当候选被拒绝时,按照归一化的正残差分布重新采样:
r(x)∝max⁡(q(x)−p(x),0)r(x)\propto\max(q(x)-p(x),0) r(x)∝max(q(x)−p(x),0)

这不是简单比较两个模型预测是否相同。正确实现标准 Speculative Sampling 时,最终输出的概率分布与目标模型一致,而不仅仅是与目标模型近似。

实际加速收益取决于:

  • Draft Model 是否足够小、足够快。
  • Draft Model 的预测分布是否足够接近 Target Model。
  • 每轮猜测 Token 的数量是否合适;太少无法有效利用验证并行,太多则可能造成更多拒绝和浪费。

课程还简要提到了 Medusa、EAGLE 等对候选生成机制的扩展。

十一、在线推理系统:连续批处理与分页注意力

11.1 Continuous Batching

在线服务中的请求会在不同时间进入,并且各自的输入长度、输出长度不一致。静态批处理必须等待某批请求完成,不利于实时利用新的空闲容量。

Continuous Batching 在每一轮 Decode 后更新批次:删除已完成请求,同时纳入新的等待请求。

graph TB A[请求进入队列] --> B[组织当前Batch] B --> C[执行一轮Decode] C --> D[移除完成请求] D --> E[加入新请求] E --> F{还有请求吗} F -->|是| B F -->|否| G[结束当前调度]

这种按迭代调度的方法可以改善设备利用率和吞吐量。讲义还介绍 Selective Batching:非 Attention 计算可以将不同长度序列拼接起来处理,而 Attention 依然需要保留每个请求自身的上下文边界。

11.2 PagedAttention

PagedAttention 的核心不是改变注意力的数学公式,而是改变 KV Cache 的显存组织方式。

传统连续空间分配容易遇到两类浪费:

  • 内部碎片:为可能出现的最大输出长度预留大量暂未使用的空间。
  • 外部碎片:空闲显存分散,难以满足连续分配需求。

PagedAttention 借鉴操作系统分页思想,将 KV Cache 拆成固定大小的 Block,允许逻辑上连续的序列分布在不同物理显存块中。

graph LR A[逻辑KV序列] --> B[逻辑Block] B --> C[Block映射表] C --> D[物理显存块] D --> E[按需读取KV]

这能带来:

  1. 按需分配 KV Cache,减少显存浪费。
  2. 通过映射表管理非连续物理显存块。
  3. 多个请求共享可复用的前缀 KV Cache,例如相同的 System Prompt。
  4. 在需要修改共享块时使用 Copy-on-Write,支持同一 Prompt 生成多个候选答案。

注意区分:PagedAttention 主要优化 KV Cache 的分配、管理与访问;FlashAttention 主要优化注意力算子的计算过程及显存 IO。两者并不互相替代。

十二、如何将课程知识用到实际部署

以下部分是基于课件原理整理的工程实践建议,不是课堂公布的 Benchmark 数据。

对于 vLLM、SGLang 等在线推理服务,可以先建立统一压测口径,再逐步优化。

graph TB A[推理性能不理想] --> B[区分TTFT和TPOT] B --> C{主要瓶颈} C -->|TTFT偏高| D[检查输入长度和Prefill] C -->|TPOT偏高| E[检查带宽和KV Cache] C -->|吞吐量偏低| F[检查批处理和并发] D --> G[调整配置并压测] E --> G F --> G G --> H[验证质量和成本]

建议至少记录下列指标:

分类 需要记录的内容
请求特征 Prompt Tokens、Output Tokens、请求并发数
用户体验 TTFT、TPOT、端到端延迟、延迟分位数
系统效率 输出吞吐量、输入处理吞吐量、排队请求数
资源状态 GPU 显存占用、KV Cache 利用率、显存带宽指标
质量评估 量化或架构调整前后的任务准确率与失败样例

常见优化路径:

  • TTFT 高:检查输入 Token 数、Prefill 计算成本及排队时间。
  • TPOT 高:检查模型参数量、带宽、KV Cache 长度和 Decode 并发。
  • 显存不足:优先检查模型权重精度、KV Cache 配额、最大上下文及 Batch Size。
  • 吞吐量低:检查动态批处理配置、请求到达速率及实际执行中的 Batch 大小。
  • 长上下文性能差:关注 KV Cache 增长、注意力架构以及前缀复用是否生效。

不能只依靠 GPU 利用率判断推理性能:GPU 的算力使用率和显存带宽使用率并不是同一个指标。

十三、本讲重点回顾

层次 优化技术 关键目标
模型结构 GQA、MLA、CLA、局部注意力 减少 KV Cache 体积或访问成本
模型压缩 PTQ、QAT、剪枝、蒸馏 减少模型权重和计算成本
生成算法 Speculative Decoding 减少目标大模型顺序生成的开销
推理调度 Continuous Batching 动态提升设备利用率与吞吐量
显存管理 PagedAttention 减少内存碎片并提高 KV Cache 复用

课程最后指出,新的模型架构------如状态空间模型、线性注意力、扩散式生成------有潜力从根本上改变标准 Transformer 自回归推理的不利计算形态。

最终的知识主线:
推理优化=降低计算与数据搬运开销+提高资源利用率\text{推理优化}=\text{降低计算与数据搬运开销}+\text{提高资源利用率} 推理优化=降低计算与数据搬运开销+提高资源利用率

但应始终附加一个约束:不能只看速度,还要验证模型质量、稳定性与实际业务成本。

相关推荐
用户73416810354834 分钟前
基于MindSpore的深度残差收缩网络程序
算法
Pniubi1 小时前
力扣239.滑动窗口最大值(优先队列)
算法·leetcode·职场和发展
青少儿编程课堂3 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
超低空3 小时前
一文说清LRU算法
后端·算法·架构
青少儿编程课堂4 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:Dinic最大流解析
c++·python·算法·bfs·信息学竞赛
开开心心就好4 小时前
显示器关不掉怎么办,用小工具一键息屏
算法·智能手机·pdf·计算机外设·ocr·lua·1024程序员节
专注仿真4 小时前
基于 AFSIM 的智能体训练:多智能体强化学习篇 —— QTRAN 算法实战
开发语言·python·算法·php·强化学习·afsim智能体·仿真训练
FR02EN7775 小时前
[LeetCode] 26、80.删除有序数组中的重复项 题解
数据结构·算法
forest_0916 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi