课程:Stanford CS336(2026 Spring),Lecture 10 --- Inference
阅读目标:理解大模型推理为什么慢、性能如何衡量,以及 KV Cache、注意力结构、量化、投机解码和推理调度各解决什么问题。
一、核心结论与知识框架
一句话总结:大模型的自回归解码难以并行,往往受到显存带宽与 KV Cache 读取开销限制;优化推理需要同时关注模型结构、内存占用和请求调度。
本讲应记住五点:
- 训练与推理负载不同:训练已知整个目标序列,可以并行计算;自回归生成必须依次确定新 Token。
- Prefill 与 Decode 的瓶颈不同:Prefill 通常更接近计算密集型,Decode 通常更接近带宽密集型。
- KV Cache 是核心资源:节省重复计算,但随着上下文长度和并发量增加而占用更多显存。
- 延迟与吞吐量需要权衡:更大 Batch 通常能提高整体吞吐量,也可能增加单个请求的等待和执行延迟。
- 不存在脱离质量的加速:量化、压缩、剪枝等方案都需要验证模型能力是否下降;标准投机采样则可以在特定算法条件下保持目标模型的采样分布。
二、推理为什么重要
训练通常是一次性的高成本投入,而推理会在模型提供服务期间持续发生。
典型推理工作负载包括:
- 聊天与代码补全:关注响应速度和交互体验。
- Agent 工作流:模型可能反复规划、调用工具、反思和继续生成,内部 Token 消耗不一定由人类阅读速度限制。
- 批量数据处理:关注单位时间处理的数据量和单位 Token 成本。
- 模型评测:需要生成模型回答并计算任务指标。
- 强化学习:需要大量 Rollout 采样、评分和策略更新。
课程提到的推理软件包括 vLLM、SGLang、TensorRT-LLM 和 llama.cpp。它们面向的硬件、部署场景和优化重点有所不同。
三、推理的两个阶段:Prefill 与 Decode
3.1 Prefill
Prefill 接收完整 Prompt,在 Transformer 中并行处理输入位置,计算注意力及各层表示,并建立这些输入位置的 KV Cache。
其特点是:
- 已知输入 Token,可以在序列维度并行计算。
- 矩阵乘法规模较大,通常更容易充分利用 GPU 算力。
- 输入越长、并发请求越多,计算量也会增加。
- TTFT 通常与 Prefill 时间密切相关,但实际 TTFT 还包括排队、调度及其他开销。
3.2 Decode
Decode 根据当前上下文不断预测下一个 Token。因为后一个 Token 依赖前一个 Token 的生成结果,单条序列通常不能像 Prefill 那样一次性并行生成所有输出。
其特点是:
- 每步通常为每个请求生成一个 Token。
- 可以复用已有 KV Cache,无须重新计算整段历史的 K、V。
- 每次仍需要读取模型参数和历史 KV Cache。
- 生成速度常受显存带宽、KV Cache 大小及调度效率制约。
3.3 为什么需要 KV Cache
不使用缓存时,一个朴素实现会在生成每个新 Token 时重复处理全部历史序列,造成大量冗余计算。对于课程所分析的朴素全量注意力重复计算方式,生成长度为 T 的序列时,仅按注意力主导项累计可得到立方量级的开销。
KV Cache 利用因果注意力的性质:追加未来 Token 不会改变已有位置的 K、V。历史 K、V 因此可以被缓存并复用。
为什么主要缓存 K、V,而不是历史 Q? 当前新 Token 的 Query 需要与历史 Key 匹配,并聚合历史 Value;历史 Query 不参与当前 Token 的这次注意力计算。
四、KV Cache 显存如何估算
对于采用常规 KV Cache 的 Transformer,课程给出的计算方法为:
MKV=2×B×S×L×K×H×P
其中:
| 符号 | 含义 |
|---|---|
B |
同时缓存的序列数量 |
S |
每条序列缓存的 Token 数 |
L |
Transformer 层数 |
K |
每层 KV Heads 的数量 |
H |
单个 Head 的维度 |
P |
每个元素占用的字节数,BF16 通常为 2 |
前面的 2 |
分别存储 Key 和 Value |
例如,有 40 层、40 个 KV Heads、Head Dimension 为 128、上下文 1024 Token,并使用 BF16,则每条序列的 KV Cache 为:
MKV,seq=2×1024×40×40×128×2
MKV,seq=838860800 Bytes≈800 MiB
因此,在同一模型架构和精度下:
B翻倍,KV Cache 总显存近似翻倍。S翻倍,KV Cache 总显存近似翻倍。K减少到原来的四分之一,KV Cache 也相应减少到约四分之一。
实际服务还存在 Block 管理、不同序列长度、混合注意力架构、量化 KV Cache 等因素;公式是基础容量估算,不等同于完整 GPU 显存使用量。
五、推理性能指标
| 指标 | 英文 | 含义 | 典型关注点 |
|---|---|---|---|
| 首 Token 延迟 | TTFT | 请求发起后到收到首 Token 的时间 | 交互体验 |
| 每输出 Token 时间 | TPOT | 后续输出 Token 之间的平均间隔 | 流式生成速度 |
| 请求延迟 | Latency | 单个请求完成所需时间 | 用户体验与 SLA |
| 吞吐量 | Throughput | 单位时间内系统生成的 Token 总数 | 高并发和批量处理 |
| 显存占用 | Memory Usage | 参数、KV Cache 和运行时等占用显存 | 部署容量 |
对于生成 N 个 Token 的请求,在忽略其他波动时,可以粗略表示为:
Ttotal≈TTFT+(N−1)×TPOT
例如 TTFT = 0.5s、生成 100 个 Token、TPOT = 0.02s,则:
Ttotal≈0.5+99×0.02=2.48s
这是工程解释示例,并非讲义给出的实测性能。
六、计算强度:推理为何容易成为带宽瓶颈
6.1 Arithmetic Intensity
计算强度表示每传输一个字节数据,完成多少次浮点运算:
AI=Bytes TransferredFLOPs
课程使用硬件的计算能力与显存带宽之比,作为判断 Compute-bound 与 Memory-bound 的近似分界:
AIhardware=Memory BandwidthPeak FLOPs/s
对于课件中的 H100 示例,使用 989 TFLOPS 与 3.35 TB/s,得到:
AIhardware≈3.35989≈295 FLOPs/Byte
在相应精度和理想 Roofline 假设下:
- 算子计算强度高于分界值,更可能受到计算能力限制。
- 算子计算强度低于分界值,更可能受到显存带宽限制。
注意:295 不是所有 H100 模式、所有 GPU 或所有算子的固定阈值;它来自课件采用的特定峰值规格。
6.2 一个矩阵乘法例子
设输入 X 的形状为 B×D,权重 W 的形状为 D×F,计算 Y=XW。若数据使用 BF16,忽略缓存及融合等优化,则:
FLOPs=2BDF
Bytes=2BD+2DF+2BF
AI=2BD+2DF+2BF2BDF
当 D 和 F 远大于 B 时,课程将它近似为:
AI≈B
这说明批量越大,一次读取的权重可服务的样本越多,计算强度越高;反之,B=1 的矩阵向量乘法很容易成为 Memory-bound。
6.3 MLP 与 Attention 的对比
课件进一步推导出以下近似计算强度:
| 模块 | Prefill | Decode |
|---|---|---|
| MLP | B×S |
B |
| Attention | S/2 |
S/(S+1),小于 1 |
对应的关键表达式为:
AIMLP≈B×T
AIAttention=S+TS×T
其中 S 表示历史或被关注的 Token 数,T 表示当前一次参与计算的目标位置数。Prefill 中 T=S;Decode 中 T=1。
核心差异:
- MLP 权重在不同序列之间共享,提高 Batch Size 能摊薄权重读取成本。
- Attention 所需的历史 KV Cache 因请求而异。增加 Batch Size 的同时,也增加各自 KV 的读取量。
- 因此,增加 Batch Size 可以改善 MLP 的计算强度,但不能用同样方法解决 Decode Attention 的低计算强度问题。
由此得到课程中的重要结论:Prefill 通常更接近 Compute-bound,Decode 尤其是 Attention 部分通常更接近 Memory-bound。 真实部署还会受到模型大小、序列长度、Kernel、硬件以及并发量等因素影响。
七、Batch Size:延迟与吞吐量的权衡
课程在理想带宽模型中,用如下关系估算单步生成耗时:
Latency≈BandwidthMweights+B×MKV,seq
每轮可为 B 条序列生成 Token,因此近似吞吐量为:
Throughput≈LatencyB
这带来一个直观结果:
- 增加 Batch Size 可以摊薄模型权重读取成本,通常提高总吞吐量。
- 增加 Batch Size 也会增加 KV Cache 读取量,从而增加每一轮 Decode 的耗时。
- Batch Size 增大到一定程度后,吞吐量收益递减,并可能达到显存上限。
课件以 Llama 2 13B、H100、BF16 和 1024 Token 为例,计算出以下理想估算值:
| Batch Size | 理想显存占用 | 理想每轮耗时 | 理想总吞吐量 |
|---|---|---|---|
| 1 | 约 26.87 GB | 约 8.02 ms | 约 125 Token/s |
| 64 | 约 79.72 GB | 约 23.80 ms | 约 2690 Token/s |
| 256 | 约 240.78 GB | 约 71.87 ms | 约 3562 Token/s |
这些是按课件公式计算的理想带宽模型结果,不代表实际服务 Benchmark;Batch 256 的显存需求也超过了示例 H100 80GB 的容量。
八、减少 KV Cache:从 GQA 到 MLA
8.1 GQA:分组查询注意力
GQA(Grouped Query Attention)让多个 Query Heads 共享一组 Key、Value Heads。
- MHA:Query Heads 数等于 KV Heads 数。
- MQA:所有 Query Heads 共享一组 KV。
- GQA:介于两者之间,形成若干 KV 分组。
若 Query Heads 为 N、KV Heads 为 K,则相对于 MHA:
Compression Ratio=KN
例如 N=32、K=8,KV Cache 的 K、V Head 部分可以缩减到原来的四分之一。
GQA 的价值是以一定的建模结构约束换取更低的缓存成本。课件指出,不同模型和任务上的质量表现需要实测,不能假定完全无损。
8.2 MLA:多头潜在注意力
MLA(Multi-head Latent Attention)是 DeepSeek-V2 相关工作采用的 KV 压缩方法。它不只减少 KV Heads,而是把原始隐藏状态投影为更小的潜在表示,缓存压缩后的向量,需要时通过投影参与注意力计算。
讲义中的 DeepSeek-V2 例子:原始高维信息约为 16384 维,潜在向量压缩至 512 维,并额外使用约 64 维处理 RoPE 相关位置信息。由于 RoPE 与低秩压缩之间存在兼容性问题,实际 MLA 设计还需要专门处理位置编码。
GQA 与 MLA 的本质差异:GQA 主要减少 KV Heads 数量,MLA 主要压缩需要存储的 KV 表示维度。
8.3 其他注意力结构
| 方法 | 核心思想 | 主要权衡 |
|---|---|---|
| CLA | 多个网络层共享 KV Cache | 减少跨层重复存储,需检查质量 |
| Sliding Window Attention | 只关注最近固定窗口 | 长程信息可能受损 |
| Hybrid Attention | 局部层与全局层交替 | 在性能和长程依赖之间折中 |
| Linear Attention | 用压缩状态表示长历史 | 长历史信息可能难以精确找回 |
| Sparse Attention | 选择重要历史 Token 参与计算 | 需要有效的选择机制 |
课程还简述了 DeepSeek 的压缩与稀疏注意力方向,包括 CSA、DSA、HCA。课堂重点是它们的共同目的:减少需要存储或访问的历史信息,在保持能力的前提下降低推理开销。
九、量化、剪枝与蒸馏
9.1 量化
量化通过降低权重或激活精度,减少存储和数据传输量。
| 数值格式 | 每个参数理论存储 | 4B 参数权重理论大小 |
|---|---|---|
| FP32 | 4 Byte | 16 GB |
| BF16 或 FP16 | 2 Byte | 8 GB |
| FP8 或 INT8 | 1 Byte | 4 GB |
| INT4 | 0.5 Byte | 2 GB |
上述数据仅计算权重本体,不包括量化元数据、KV Cache、工作区及其他运行时内存。
量化主要有两类:
- PTQ:训练完成后再量化,工程成本较低。讲义介绍了 GPTQ、AWQ 等方法。
- QAT:训练时模拟量化和反量化误差,让模型主动适应低精度表示,训练成本更高。
GPTQ 利用与二阶误差信息相关的近似方法逐层处理量化误差。AWQ 则关注激活值表明的重要权重通道,尽量减轻关键通道的量化损失。
注意:精度降低不等于必然加速。还需要硬件对数据格式的支持,以及推理框架中对应 Kernel 的实现。
9.2 剪枝与蒸馏
剪枝直接移除不重要的层、Attention Heads 或隐藏维度,使网络规模减小。由于能力可能下降,通常还需要继续训练或知识蒸馏。
课件提到 NVIDIA 相关工作利用结构剪枝和后续恢复训练,将约 15B 规模的模型缩小到约 8B,并在特定评测中保持较好的能力。
与从零训练小模型相比,这条路线能够复用大模型已经学到的知识;但重要性判断和恢复训练仍然需要数据、算力和评估体系。
十、投机解码:用小模型猜,用大模型验证
标准自回归生成逐个 Token 运行目标大模型,速度受限。投机解码利用了一个不对称性:给定一段候选 Token 后,大模型能够并行计算各位置的预测分布;这往往比大模型逐个生成候选更高效。
设 p 是 Draft Model 的预测分布,q 是 Target Model 的预测分布。对从 p 采样得到的候选 Token x,课件给出接受概率:
Paccept(x)=min(1,p(x)q(x))
当候选被拒绝时,按照归一化的正残差分布重新采样:
r(x)∝max(q(x)−p(x),0)
这不是简单比较两个模型预测是否相同。正确实现标准 Speculative Sampling 时,最终输出的概率分布与目标模型一致,而不仅仅是与目标模型近似。
实际加速收益取决于:
- Draft Model 是否足够小、足够快。
- Draft Model 的预测分布是否足够接近 Target Model。
- 每轮猜测 Token 的数量是否合适;太少无法有效利用验证并行,太多则可能造成更多拒绝和浪费。
课程还简要提到了 Medusa、EAGLE 等对候选生成机制的扩展。
十一、在线推理系统:连续批处理与分页注意力
11.1 Continuous Batching
在线服务中的请求会在不同时间进入,并且各自的输入长度、输出长度不一致。静态批处理必须等待某批请求完成,不利于实时利用新的空闲容量。
Continuous Batching 在每一轮 Decode 后更新批次:删除已完成请求,同时纳入新的等待请求。
这种按迭代调度的方法可以改善设备利用率和吞吐量。讲义还介绍 Selective Batching:非 Attention 计算可以将不同长度序列拼接起来处理,而 Attention 依然需要保留每个请求自身的上下文边界。
11.2 PagedAttention
PagedAttention 的核心不是改变注意力的数学公式,而是改变 KV Cache 的显存组织方式。
传统连续空间分配容易遇到两类浪费:
- 内部碎片:为可能出现的最大输出长度预留大量暂未使用的空间。
- 外部碎片:空闲显存分散,难以满足连续分配需求。
PagedAttention 借鉴操作系统分页思想,将 KV Cache 拆成固定大小的 Block,允许逻辑上连续的序列分布在不同物理显存块中。
这能带来:
- 按需分配 KV Cache,减少显存浪费。
- 通过映射表管理非连续物理显存块。
- 多个请求共享可复用的前缀 KV Cache,例如相同的 System Prompt。
- 在需要修改共享块时使用 Copy-on-Write,支持同一 Prompt 生成多个候选答案。
注意区分:PagedAttention 主要优化 KV Cache 的分配、管理与访问;FlashAttention 主要优化注意力算子的计算过程及显存 IO。两者并不互相替代。
十二、如何将课程知识用到实际部署
以下部分是基于课件原理整理的工程实践建议,不是课堂公布的 Benchmark 数据。
对于 vLLM、SGLang 等在线推理服务,可以先建立统一压测口径,再逐步优化。
建议至少记录下列指标:
| 分类 | 需要记录的内容 |
|---|---|
| 请求特征 | Prompt Tokens、Output Tokens、请求并发数 |
| 用户体验 | TTFT、TPOT、端到端延迟、延迟分位数 |
| 系统效率 | 输出吞吐量、输入处理吞吐量、排队请求数 |
| 资源状态 | GPU 显存占用、KV Cache 利用率、显存带宽指标 |
| 质量评估 | 量化或架构调整前后的任务准确率与失败样例 |
常见优化路径:
- TTFT 高:检查输入 Token 数、Prefill 计算成本及排队时间。
- TPOT 高:检查模型参数量、带宽、KV Cache 长度和 Decode 并发。
- 显存不足:优先检查模型权重精度、KV Cache 配额、最大上下文及 Batch Size。
- 吞吐量低:检查动态批处理配置、请求到达速率及实际执行中的 Batch 大小。
- 长上下文性能差:关注 KV Cache 增长、注意力架构以及前缀复用是否生效。
不能只依靠 GPU 利用率判断推理性能:GPU 的算力使用率和显存带宽使用率并不是同一个指标。
十三、本讲重点回顾
| 层次 | 优化技术 | 关键目标 |
|---|---|---|
| 模型结构 | GQA、MLA、CLA、局部注意力 | 减少 KV Cache 体积或访问成本 |
| 模型压缩 | PTQ、QAT、剪枝、蒸馏 | 减少模型权重和计算成本 |
| 生成算法 | Speculative Decoding | 减少目标大模型顺序生成的开销 |
| 推理调度 | Continuous Batching | 动态提升设备利用率与吞吐量 |
| 显存管理 | PagedAttention | 减少内存碎片并提高 KV Cache 复用 |
课程最后指出,新的模型架构------如状态空间模型、线性注意力、扩散式生成------有潜力从根本上改变标准 Transformer 自回归推理的不利计算形态。
最终的知识主线:
推理优化=降低计算与数据搬运开销+提高资源利用率
但应始终附加一个约束:不能只看速度,还要验证模型质量、稳定性与实际业务成本。