【AI Infra小白入门④】AI Infra学习路线图：从入门到精通的完整指南（附核心思维方法）
本文是「AI Infra 小白入门」系列的第四篇。前面我们聊了什么是AI Infra、大厂组织架构、岗位路线图。今天来聊最实用的------AI Infra到底该怎么学？先学什么、后学什么？以及贯穿整个学习过程的核心思维方法。
一、写在前面：为什么需要学习路线？
AI Infra的知识体系太庞大了------CUDA、分布式训练、编译器、推理引擎、量化、Serving......随便拎出来一个都是深坑。
如果没有清晰的路线图，很容易陷入两种困境：
- 盲目跟风：今天学CUDA，明天听说量化火又去学量化，结果每样都只懂皮毛
- 迷失细节：一头扎进某个细节里，学了半天不知道学了有什么用
所以，在动手学习之前，先搞清楚"全貌"和"路线"非常重要。
先上一张完整的学习路线图：
二、完整学习路线：五阶进阶
AI Infra的学习可以分为五个阶段，由浅入深、层层递进：
text
阶段一：前置基础（第1章内容）
编程语言 / 数学 / Transformer / PyTorch / GPU硬件 / 集合通信 / 工具链
↓
阶段二：CUDA与算子优化（第2章内容）
CUDA编程 / 性能优化 / 经典算子 / Attention算子 / Triton
↓
阶段三：分布式训练（第6章内容）
数据并行 / ZeRO / 张量并行 / 流水线并行 / 3D并行 / 通信优化
↓
阶段四：推理与部署（第3-5章 + 第7-8章内容）
AI编译器 / Runtime / 量化 / LLM Serving / 多平台适配
↓
阶段五：综合项目实战
端到端全链路优化项目我们逐一来看每个阶段学什么、学到什么程度。
三、各阶段学习要点
阶段一：前置基础------打底子
| 内容 | 学什么 | 学到什么程度 |
|---|---|---|
| 编程语言 | Python进阶、C++核心、pybind11 | 能读C++代码、能写Python脚本 |
| 工程数学 | 线代（矩阵乘法）、概率（softmax）、微积分（链式法则） | 能手算FLOPs、显存、维度变化 |
| Transformer | Attention、FFN、位置编码、LN、MHA→MLA | 能画清楚前向传播流程、知道哪里是性能瓶颈 |
| PyTorch框架 | autograd、Module、checkpoint、profiler | 能熟练用PyTorch训练和推理模型 |
| GPU硬件概论 | SM、Tensor Core、存储层次、Memory Wall | 理解GPU为什么快、为什么会有显存墙 |
| 集合通信基础 | AllReduce等原语、Ring/Tree算法、NCCL | 理解多卡之间怎么"传话" |
| 工程工具链 | gdb/perf/nsys/ncu、Git | 会用基本的调试和性能分析工具 |
🎯 核心目标：概念要清晰，能手算显存、带宽、FLOPs。
阶段二：CUDA与算子优化------练硬功
| 内容 | 学什么 | 学到什么程度 |
|---|---|---|
| CUDA编程体系 | Grid/Block/Thread、内存模型、Warp执行 | 能正确计算线程索引、理解内存层级 |
| 性能优化基础 | 合并访问、Bank Conflict、Occupancy | 能识别常见性能问题 |
| 经典算子实现 | Reduce、GEMM | 能手写并调优一个GEMM kernel |
| Attention算子 | FlashAttention原理 | 理解为什么FlashAttention快 |
| 多线程并行 | CPU并行、OpenMP、SIMD | 理解CPU端的优化手段 |
| Triton编程 | Triton语言与优化思路 | 能用Triton写简单算子 |
🎯 核心目标：能手写并调优kernel，建立"性能思维"。
阶段三：分布式训练------玩大的
| 内容 | 学什么 | 学到什么程度 |
|---|---|---|
| 分布式训练总论 | 显存构成、并行策略分类 | 能估算训练显存需求 |
| 数据并行 | DDP原理与实现 | 能跑通DDP训练 |
| ZeRO系列 | ZeRO-1/2/3原理与显存计算 | 能计算不同ZeRO阶段的显存占用 |
| 张量并行 / 序列并行 | TP切分方式、通信模式 | 理解TP怎么切、通信量多大 |
| 流水线并行 | PP原理、气泡计算 | 理解流水线的效率损失 |
| 3D并行与混合策略 | DP+TP+PP的组合设计 | 能设计并行拓扑 |
| 通信优化 | NCCL、Ring AllReduce、通信重叠 | 理解通信优化的核心手段 |
🎯 核心目标：能设计并行拓扑、算清楚显存和通信量。
阶段四：推理与部署------搞上线
| 内容 | 学什么 | 学到什么程度 |
|---|---|---|
| AI编译器 | 编译流水线、TVM架构、图优化、后端 | 理解编译器的工作流程 |
| Runtime推理引擎 | 内存池、CUDA Graph、多流并发、动态Batch | 理解推理引擎的核心组件 |
| 模型量化 | PTQ/QAT、INT8/INT4、W4A16/W4A8、KV Cache量化 | 知道不同量化方法的取舍 |
| LLM推理与Serving | PagedAttention、Continuous Batching、Speculative Decoding、Prefix Cache | 理解vLLM等框架的核心技术 |
| 多平台适配 | NVIDIA GPU、边缘Jetson、昇腾NPU、自研芯片 | 知道不同平台的部署特点 |
🎯 核心目标：能端到端把一个模型从训练推上线。
阶段五：综合项目实战------串起来
把前面所有知识点串起来，做一个完整的端到端项目。比如：
- 选一个模型（如MMBEV感知模型）
- 从训练优化到推理部署
- 涉及算子优化、编译、量化、Runtime全链路
- 有明确的benchmark数字
🎯 核心目标：能讲清每个技术决策的取舍，形成完整的知识体系。
四、贯穿始终的核心思维：牺牲了什么，换取了什么？
这是整个AI Infra学习的总纲，也是1.1节讲的"不可能三角"的具体化。
每学一个新技术，都填一行这个表。填不出来 = 没学懂。
| 技术 | 牺牲了什么 | 换取了什么 |
|---|---|---|
| ZeRO | 通信量 | 显存 |
| Activation Checkpointing | 重计算 | 显存 |
| TP（张量并行） | 通信带宽 | 单卡显存 |
| PP（流水线并行） | 气泡（利用率） | 单卡显存 |
| INT8量化 | 精度 | 显存 + 速度 |
| CUDA Graph | 灵活性 | launch开销 |
| Continuous Batching | 调度复杂度 | 吞吐 |
| PagedAttention | 管理复杂度 | 显存利用率 |
| Speculative Decoding | draft模型成本 | decode速度 |
| 内存池 | 常驻显存 | 分配开销 |
💡 学习方法：准备一个笔记本（或文档），每学一个新技术，就加一行这个表。学到最后，你就有了一张自己的"AI Infra知识地图"。
五、四条学习建议
建议一：自底向上打基础，自顶向下找方向
- 打基础按顺序来：前置基础 → CUDA/算子 → 分布式训练 → 推理部署。地基打牢了，后面的楼才能盖高。
- 找方向从兴趣出发：如果你不知道该深入哪个方向，可以先快速浏览一遍各个方向的内容，找一个最让你"眼睛发亮"的深入下去。
建议二：每个概念配一个实验
AI Infra是工程学科，光看不动手，等于白学。
- 学完ZeRO，就跑一次不同阶段的显存对比
- 学完CUDA Graph，就测一下launch开销到底省了多少
- 学完量化，就实际跑一下INT8和FP16的精度/速度对比
有对比，才有理解；有数字，才有感觉。
建议三：输出倒逼输入
最好的学习方式是"教"。
- 写博客、记笔记（你正在看的这个系列就是最好的例子😉）
- 给同事/同学讲一讲你学到的东西
- 讲不清楚的地方，就是你没学透的地方
建议四：以项目为纲
不要孤立地学知识点，要以项目为线索把知识串起来。
比如，你可以定一个小目标：
"我要把一个ViT模型部署到Jetson Orin上，做到实时推理（>30fps）。"
围绕这个目标，你会自然地学到：
- 模型导出（ONNX）
- 模型优化（TensorRT编译）
- 量化（PTQ/QAT）
- 推理引擎（TensorRT Runtime）
- 性能分析（nsys、trtexec）
- ......
带着问题学，比漫无目的地学效率高10倍。
六、小白避坑指南
坑一：一上来就啃最硬的骨头
很多人一上来就去看vLLM源码、Megatron源码，结果看了几天就放弃了------因为基础不够，根本看不懂。
正确姿势：从基础开始，循序渐进。先搞懂GPU架构和CUDA编程，再看上层框架，事半功倍。
坑二：收藏了无数资料，却一篇都没看完
收藏 ≠ 学会。与其收藏100篇文章，不如把1篇好文章吃透，再动手做一个实验。
坑三：只学理论，不做实验
AI Infra是工程学科，很多东西不亲手测一下，永远没有"感觉"。
比如，CUDA的合并访存到底有多重要？不写两个kernel对比一下，你永远只有一个模糊的概念。
坑四：贪多求全，什么都想学
AI Infra的方向很多，但你不需要什么都精通。先把一个方向做扎实，再横向扩展。T型人才比"全栈小白"值钱得多。
七、总结一下
今天这篇文章，我们给出了AI Infra的完整学习路线：
- 五个阶段：前置基础 → CUDA/算子 → 分布式训练 → 推理部署 → 项目实战
- 核心思维：任何技术都是"不可能三角"的取舍------"牺牲了什么，换取了什么"是检验理解的最好问题
- 四条学习建议：循序渐进、每个概念配实验、输出倒逼输入、以项目为纲
下一篇预告：我们正式进入前置基础阶段，首先来聊聊编程语言------为什么AI Infra是Python和C++的双语世界？各自用在什么地方？需要掌握到什么程度？
📚 本系列导航：
- 第1篇：一文搞懂什么是AI基础设施：五大方向与不可能三角
- 第2篇：大厂AI Infra组织架构大揭秘
- 第3篇：AI Infra岗位路线图：级别、薪资与成长路径
- 第4篇：AI Infra学习路线图：从入门到精通的完整指南（本文）
- 第5篇：AI Infra必备编程基础：Python、C++与Linux速通指南
- 更多内容持续更新中......