5、服务器互连技术（小白入门版）

像搭积木一样理解服务器

学习承诺：读完本文，你会像理解"电器怎么插插座"一样，理解服务器各部件如何连接。
核心比喻 ：把服务器想象成一个超级物流中心，各种货物（数据）需要在不同仓库（硬件）之间快速运输。

---

一、为什么要学这个？

1.1 一个真实场景

想象你是公司IT采购，老板让你买服务器训练AI模型。销售给你报价：

方案A：20万元
方案B：25万元，"性能提升50%"

你一脸懵：多花5万到底值不值？差在哪？

学完这节课你能：

• ✓ 看懂配置单上的术语（什么是"x16"、"100G"）
• ✓ 知道为什么有的服务器贵
• ✓ 不被销售忽悠

1.2 服务器是什么？

服务器 = 一堆零件的组合：

┌─────────────────────────────────┐
│      🧠 CPU（大脑）              │
├─────────────────────────────────┤
│      📝 内存（工作台）           │
├─────────────────────────────────┤
│      🎨 GPU（加速器，可选）      │
├─────────────────────────────────┤
│      💾 硬盘（仓库）             │
├─────────────────────────────────┤
│      🌐 网卡（邮局）             │
└─────────────────────────────────┘

核心问题 ：这些零件之间怎么传数据？

三个层次的传输：

比喻	实际	距离	速度	技术
🏠 房间内递东西	服务器内部	几厘米	超快	PCIe
🏢 楼层间传递	同机房服务器间	几米	很快	网线
🌍 城市间运货	跨数据中心	几千公里	较慢	互联网

本课重点：前两个（PCIe和网络）

---

二、PCIe：服务器内部的"高速公路"

2.1 什么是PCIe？（用比喻）

城市道路系统

把服务器想象成一个城市：

CPU     = 市政府（决策中心）
GPU     = 工厂（生产中心）
内存    = 仓库（临时存货）
硬盘    = 远郊仓库（长期存储）
网卡    = 港口（对外贸易）

PCIe = 连接这些地方的高速公路

PCIe的三个关键数字

1️⃣ 车道数（Lanes）

规格	含义	用途
x1	单车道小路	旧设备、声卡
x4	四车道	普通硬盘
x8	八车道	网卡
x16	十六车道超级高速	显卡

举例：

• 一个普通固态硬盘：x4就够（四车道）
• 一个顶级显卡：需要x16（数据量巨大）

2️⃣ 世代版本（Generation）

世代	比喻	速度提升
PCIe 3.0	老式高速（限速120km/h）	基准
PCIe 4.0	新式高速（限速240km/h）	2倍
PCIe 5.0	超级高速（限速480km/h）	4倍

关键：世代越高，同样车道数，速度翻倍

3️⃣ 带宽（Bandwidth）

简化公式：

带宽 ≈ 车道数 × 世代速度

例子：
PCIe 4.0 x16 ≈ 30 GB/s
PCIe 3.0 x4  ≈ 3.5 GB/s

2.2 看懂配置单

例子1：显卡

接口：PCIe 4.0 x16

解读：

• ✓ 需要16条通道（CPU要有够的通道）
• ✓ 使用4.0版本（如果CPU只支持3.0，会慢一半）
• ✓ 带宽约30 GB/s

例子2：固态硬盘

接口：PCIe 3.0 x4

解读：

• ✓ 只需4条通道（不占地方）
• ✓ 3.0版本够用
• ✓ 带宽约3.5 GB/s（比老硬盘快10倍）

2.3 CPU的"通道预算"（重要！）

核心概念

CPU的通道数是有限的，就像路口只有固定数量的出口。

实际数字：

• 便宜CPU：48条通道
• 中端CPU：64条通道
• 贵CPU：128条通道

怎么分配？

场景：要装很多设备

需求清单：
• 2个显卡：2 × 16 = 32条
• 1个网卡：1 × 8  = 8条
• 4个硬盘：4 × 4  = 16条
━━━━━━━━━━━━━━━━━━━━
总计：56条通道

决策：

• ✅ CPU有64条 → 够用
• ❌ CPU只有48条 → 不够，要么减配置，要么换CPU

这就是为什么贵的CPU卖得贵：

• 不只是算得快
• 还有更多"接口"

2.4 常见误区

❌ 误区1："买了PCIe 5.0硬盘，应该快很多"

• ✅ 真相：如果CPU只支持4.0，硬盘也只能跑4.0速度

❌ 误区2："插槽看起来都一样，随便插"

• ✅ 真相：有些插槽是"假16车道"（实际只有x8），要看说明书

❌ 误区3："通道够用就行，版本无所谓"

• ✅ 真相：同样x16，PCIe 5.0比3.0快4倍！

---

三、网络：服务器之间的"快递系统"

3.1 为什么需要网络？

单机 vs 集群

单机（一台服务器）：

优点：简单
缺点：能力有限

比如：一个人在家做手工

集群（多台协作）：

优点：能干大事
缺点：需要高速通信

比如：100人的工厂，需要频繁交流

关键：服务器间的通信速度，决定集群效率

3.2 网络的"快慢"

两个核心指标

1️⃣ 带宽（水管粗细）

规格	速度	比喻
1G	125 MB/s	细水管（家用）
10G	1.25 GB/s	粗水管（企业）
100G	12.5 GB/s	超粗水管（数据中心）

直观对比：

1G网络：每秒传 120张照片
100G网络：每秒传 10部电影

差距：100倍

2️⃣ 延迟（快递速度）

技术	延迟	比喻
普通网络	100微秒	普通快递（3天）
RDMA	2微秒	高铁快递（5小时）

差距：50倍

3.3 两种技术对比

以太网 vs InfiniBand

以太网（Ethernet） 📶

优点：
✅ 便宜（100G网卡：5000元）
✅ 兼容性好（所有设备都支持）
✅ 维护简单（普通网管都会）

缺点：
⛔ 延迟稍高（10-50微秒）
⛔ CPU占用大

适合：大部分公司（性价比高）

InfiniBand（IB） ⚡

优点：
✅ 超低延迟（1-2微秒）
✅ CPU占用低
✅ 性能极致

缺点：
⛔ 贵（200G网卡：2万元）
⛔ 只能IB设备之间通信
⛔ 需要专业人员维护

适合：顶尖AI公司、超算中心

怎么选？

决策树：

① 预算够吗？
   ├─ 不够 → 选以太网
   └─ 够 → 继续

② 需要极致性能吗？（训练超大AI）
   ├─ 是 → 选InfiniBand
   └─ 否 → 继续

③ 团队会维护IB吗？
   ├─ 不会 → 选以太网（风险小）
   └─ 会 → 选InfiniBand

3.4 RDMA技术（加分项）

什么是RDMA？

传统方式（寄快递）：

步骤1：你把包裹交给快递员
步骤2：快递员送到快递站
步骤3：快递站分拣
步骤4：配送到目的地

中间环节多 → 慢

RDMA方式（直升机空投）：

步骤1：直升机直接扔到你家院子

中间环节少 → 快50倍

技术细节（可跳过）：

• 普通网络：数据要经过CPU处理
• RDMA：数据直接从内存到内存

记住：RDMA = 快 + 省CPU

---

四、机柜：服务器的"衣柜"

4.1 什么是机柜？

机柜 = 专门放服务器的大铁柜子

标准尺寸：
• 宽：19英寸（固定）
• 高：42U（1U ≈ 4.5厘米）
• 深：约1米

能装：20-40台服务器

为什么要机柜？

三个好处：

1. 节省空间（40台堆整齐）
2. 方便管理（线缆、供电规划好）
3. 便于维护（坏了抽出来修）

4.2 四大挑战

1️⃣ 供电问题

问题：40台服务器总功耗可能10千瓦

• 相当于10台空调同时开

解决：

• 高压电（380V，不是家用220V）
• 多个电源备份

2️⃣ 散热问题

问题：10千瓦功耗 = 10千瓦热量

• 相当于10个大暖气

解决：

方案	成本	效果	适用
风冷	低	够用	普通服务器
机房空调	中	好	中等密度
液冷	高	非常好	高密度GPU

风冷原理：

前面吸冷风 → 加热 → 后面排热风

机房布局：
[冷通道] [热通道] [冷通道]
  ↓吸风↓  ↑排风↑  ↓吸风↓

3️⃣ 布线问题

问题：每台服务器至少4根线

• 40台 × 4 = 160根线

解决：

• 专门走线槽
• 标签管理
• 颜色区分

4️⃣ 网络拓扑

简化理解：

       [大交换机]
        /   |   \
     [机柜1][机柜2][机柜3]
    每个机柜顶部有小交换机
           ↓
       40台服务器

好处：

• 同机柜通信快
• 跨机柜也不慢

---

五、真实案例：AI训练服务器

5.1 配置单（简化版）

CPU：    AMD EPYC 9654（96核）
         PCIe 5.0通道：128条
         功耗：360W

GPU：    8× Nvidia H100
         每个占用：x16
         总功耗：5600W

内存：   1.5TB

硬盘：   4× NVMe SSD（8TB）
         每个占用：x4

网络：   2× 400G InfiniBand
         每个占用：x16

电源：   6× 3000W（冗余）

散热：   液冷

价格：   约150万元

5.2 配置分析

PCIe通道够吗？

需求计算：
• 8个GPU：8 × 16 = 128条
• 2个网卡：2 × 16 = 32条
• 4个硬盘：4 × 4  = 16条
━━━━━━━━━━━━━━━━━━━━━
总计：176条

CPU提供：128条（不够！）

解决：用2个CPU
• CPU1：管8个GPU（128条）
• CPU2：管网卡+硬盘（48条）

为什么这么贵？

成本拆解：
• GPU：8 × 15万 = 120万（占80%）
• CPU：2 × 5万  = 10万
• 内存：5万
• 其他：15万
━━━━━━━━━━━━━━━━━━━━━
总计：150万

功耗分析

功耗：
• GPU：5600W
• CPU：720W
• 其他：680W
━━━━━━━━━━━
总计：7000W

相当于：70台笔记本电脑

为什么要液冷？

7000W热量：
• 风冷：需要巨大风扇，像飞机起飞
• 液冷：安静，效率高3倍

权衡：液冷贵2万，但值得

5.3 常见问题

Q1：能只买1个GPU省钱吗？

• A：可以！但速度慢8倍

Q2：为什么不买便宜CPU？

• A：便宜CPU通道少（48条），装不下8个GPU

Q3：IB能换成万兆网卡吗？

• A：可以，但GPU通信慢10倍

Q4：电费多少？

计算：
• 功耗：7kW
• 电价：1元/度
• 每天：7 × 24 = 168元
• 每年：168 × 365 = 6万

3年电费：18万（占成本12%）

---

六、总结：记住这些就够

6.1 核心概念

PCIe

概念	记法
通道数	x4普通，x16高端
世代	5.0比3.0快4倍
CPU预算	便宜48条，贵128条

网络

概念	记法
带宽	1G慢，100G快
延迟	RDMA快50倍
选择	以太网便宜，IB极致

机柜

概念	记法
功耗	普通5kW，高端15kW
散热	液冷贵但效率高3倍
尺寸	19英寸宽，42U高

6.2 决策树（抄作业版）

选服务器

步骤1：确定用途
├─ AI训练 → GPU服务器
├─ 数据库 → 大内存+快硬盘
├─ Web → 多核CPU
└─ 存储 → 多硬盘+快网络

步骤2：看预算
├─ 紧 → 少GPU
└─ 足 → 多GPU

步骤3：算通道
公式：GPU数×16 + 网卡×8 + 硬盘数×4
├─ 超过CPU → 换CPU或减配
└─ 没超过 → 可以买

步骤4：选网络
├─ 极致性能+预算够 → IB
└─ 其他 → 以太网

6.3 避坑指南

❌ 坑1：被忽悠"通道数"

• ✅ 问清：CPU到底多少PCIe通道

❌ 坑2：买5.0设备，主板只支持4.0

• ✅ 检查：CPU、主板、设备都要匹配

❌ 坑3：机房电力不够

• ✅ 提前算：功耗×数量 < 机房供电

❌ 坑4：网络买便宜的成瓶颈

• ✅ 原则：高端GPU配高端网络

---

七、课后练习

7.1 基础题

1. PCIe x16的"16"指什么？

• A. 速度是x1的16倍
• B. 有16条数据通道 ✅
• C. 16GB带宽
• D. 支持16个设备

2. CPU有64条通道，装4个GPU(x16)和2个网卡(x8)，够吗？

• A. 够，还剩很多
• B. 刚好够
• C. 不够 ✅（4×16+2×8=80条）
• D. 不确定

3. AI训练为什么用IB？

• A. 更便宜
• B. 延迟低，GPU通信快 ✅
• C. 兼容性好
• D. 更好看

7.2 实战题

场景：公司要买服务器，预算30万

需求：

• 2个GPU（每个8万）
• 2TB内存
• 快速网络（10台互联）

问题：

1. CPU至少多少通道？
2. 选以太网还是IB？
3. 电源至少多少W？

答案：

1. 48条（2×16GPU + 8网卡 + 8硬盘）
2. 以太网（预算不够IB）
3. 2000W（2×700GPU + 600其他）

---

八、延伸学习

8.1 推荐资源

新手：

• 📺 YouTube："Linus Tech Tips"（装机视频）
• 📘 厂商官网产品介绍（AMD/Intel/Nvidia）
• 🛠️ PCPartPicker.com（检查兼容性）

进阶：

• 📚《深入理解计算机系统》
• 📄 PCI-SIG官网（PCIe规范）
• 🎓 MIT 6.004（计算机架构课程）

8.2 术语表

中文	英文	缩写
外设组件互连	Peripheral Component Interconnect Express	PCIe
远程直接内存访问	Remote Direct Memory Access	RDMA
非易失性存储	Non-Volatile Memory Express	NVMe
智能网卡	Smart Network Interface Card	SmartNIC
机架单元	Rack Unit	U

---

结语 🎉

恭喜你看完！现在你已经：

• ✅ 理解服务器各部件如何连接
• ✅ 能看懂配置单
• ✅ 知道如何选配置
• ✅ 不会被销售忽悠

核心原则：

• 通道数要匹配
• 带宽要平衡
• 预算要权衡

下次看配置单，问三个问题：

1. PCIe通道够吗？
2. 哪里是瓶颈？
3. 性价比合理吗？

记住 ：技术复杂，但原理简单------匹配和平衡！💪