摘要：2026年，训练大模型是一锤子买卖，推理才是决定模型能否规模化落地的生死线。训练一个模型可能花掉几千万美元，但推理是持续发生的------每次用户请求都在烧钱。推理优化，正在从"锦上添花"变成"存亡之战"。
一、推理的经济账：训练是一次性投入，推理是持续烧钱
一个70B参数的模型，FP16权重需要约140GB显存，至少需要2张A100 80GB。以每张A100每小时2美元计算，单卡推理的年成本超过1.7万美元。这还只是硬件成本------电力、冷却、运维、网络带宽层层叠加。
更严峻的现实是：推理成本正随用户规模线性增长，而模型利润往往不是线性的。一个日活百万的Agent应用，每日推理Token数轻松突破百亿级别。推理架构的每1%效率提升，都可能转化为数百万美元的年节省。
二、推理的三大性能死穴
传统推理框架在面对真实生产流量时，会暴露出三个致命瓶颈：
显存碎片化：传统KV Cache采用连续内存分配。当多个不同长度的请求并发时，显存碎片率可高达40%-60%------明明还有30GB空闲显存，却无法接纳新请求。
前缀重复计算：Agent场景中，System Prompt、Few-shot示例、工具定义高度重复。传统框架对每个请求都从头计算这些共享前缀，浪费了70%以上的Prefill算力。
调度僵化：无法将长文本Prefill与短文本Decode混合批处理。一个长文档RAG请求会阻塞整个Batch中所有短对话的生成，导致P99延迟飙升。
三、推理的瓶颈不是计算，是内存带宽
H100的理论算力为1979 TFLOPS（FP16），但HBM3带宽仅3.35 TB/s。对于一个70B模型，加载全部权重需要约140GB/3.35TB/s≈42ms，而实际计算可能只需要几毫秒。GPU大部分时间在"搬运数据"，而不是"计算" 。
四、四大提效策略
模型量化：将权重从16位浮点数降到更低位数。面壁智能的BitCPM-CANN技术释放约6倍显存空间，模型能力保留率维持在90%-97.2%，推理速度快了2到4倍。DeepSeek-V4在昇腾910C上实现了原生FP4推理，将4位量化从"后处理"变成了"原生支持"。
推测解码与MTP：MTP（Multi-Token Prediction）是2026年最受关注的推测解码变体。谷歌Gemma 4的MTP起草器推理速度最高提升3倍；Qwen3.6 27B在RTX 3090上启用MTP后，速度从38 tokens/s提升到65 tokens/s（1.71倍）。
KV Cache优化 ：PagedAttention将KV Cache切分为固定大小的Block，显存浪费从40-60%降至**<4%**，相同显存下并发请求数提升2-4倍。MLA通过两级压缩，将上下文窗口从128K扩展至100万。
PD分离：将计算密集型的Prefill与访存密集型的Decode部署在不同硬件上。DeepSeek-V4-w8a8切换为PD分离后，吞吐提升2.8倍，TTFT P99波动从200%降至15%。
五、推理框架选型：选错是最高杠杆的错误
| 框架 | 核心优势 | 适用场景 |
|---|---|---|
| vLLM | PagedAttention，显存浪费<4%，生态最成熟 | 通用生产部署 |
| SGLang | RadixAttention，Agent多轮对话缓存命中率更高 | Agent与结构化输出 |
| TensorRT-LLM | CUDA优化极致，支持FP8/NVFP4 | 极致低延迟，仅NVIDIA |
| llama.cpp | 支持几乎所有硬件，GGUF量化 | 端侧部署 |
SGLang在H100上达16,215 tok/s，vLLM为12,553 tok/s。AI Multiple评测显示，SGLang在Agent多轮对话场景中缓存命中率更高，vLLM在标准聊天场景下表现良好。
六、端侧部署：从云到端的迁移
2026年，端侧AI芯片算力已足以运行数十亿参数大模型。核心挑战是：模型足够小、能力足够强、响应足够快、功耗足够低。
谷歌在Pixel 9和Pixel 10上将MTP嵌入已冻结的Gemini Nano v3，不训练独立草稿模型，而是附加轻量级组件，推理速度提升50%以上并降低能耗。
面壁智能开源MiniCPM5-1B，仅1B参数在AA-Index上取得17.9分，超越Qwen3.5-2B等全部4B以下开源基座模型。
七、推理已占AI工作负载的47%
谷歌2026年7月报告显示，83%的企业需要升级基础设施才能支持Agentic AI的生产部署，推理已占AI工作负载的47%。
训练决定模型的上限，推理决定产品的下限。2026年，赢在推理。
查看原文
以上仅为核心速览。完整版包含：模型量化/剪枝/推测解码的完整代码实现、vLLM/SGLang/TensorRT-LLM/llama.cpp的详细部署命令与配置参数、DSpark半自回归架构深度拆解、端侧部署框架对比与国产芯片适配方案、推理成本治理与FinOps工程面试考点整理。
本文首发于「阿Q的AI笔记」，点击下方链接阅读全文：