一台48口25G TOR交换机配什么服务器网卡?这个问题没有唯一答案,但有明确的决策依据。本文从TOR架构原理出发,用具体参数拆解25G和100G两种下行方案的搭配逻辑,覆盖DAC、AOC、光模块三种连接介质的选型,给出不同服务器密度的配置建议。
TOR架构:为什么网卡选型要从交换机往下想
TOR(Top of Rack)是数据中心最主流的接入层架构。每台机柜顶部放一台接入交换机,机柜内所有服务器的网线或光纤全部汇聚到这台交换机,再由交换机上联到Spine核心层。
这种架构的好处是布线简洁------服务器到TOR交换机的线缆长度通常不超过3米,集中在一个机柜内完成,不需要跨柜走线。对网卡选型来说,这意味着:服务器网卡的接口类型和速率,必须与TOR交换机的下行端口匹配。
第一个决策参数:25G还是100G下行
TOR交换机的下行端口有两种主流规格:48口25G SFP28 和 32口100G QSFP28。这不是随意选择的,取决于机柜内服务器的业务带宽需求。
**25G下行适合大多数通用服务器。**Web服务、应用服务器、数据库节点这类工作负载,单机网络带宽很少超过10Gbps。配25G网卡留有充裕余量,同时单台TOR交换机可以接入48台服务器,机柜密度高。
**100G下行面向高性能计算、分布式存储和GPU服务器。**一台双路GPU服务器在训练数据加载阶段,单卡网络吞吐可以轻松跑到40-60Gbps。25G会成为瓶颈,100G才能保证数据喂得饱GPU。
48:6
25G TOR典型端口配比(48下行+6上联)
2:1
25G TOR收敛比(1200G下行:600G上联)
3.125GB/s
25G单口实际带宽
收敛比:决定网卡搭配的关键指标
收敛比(Oversubscription Ratio)是TOR交换机下行总带宽与上联总带宽的比值。一台典型的48×25G TOR交换机,下行总带宽为48×25G=1200Gbps,如果配6个100G上联口,上联总带宽为600Gbps,收敛比就是2:1。
2:1的收敛比意味着:如果48台服务器同时跑满25G,上联口会拥塞。但实际业务中,大部分服务器不会同时打满带宽,2:1到4:1是通用场景的合理范围。
对于100G全端口TOR(32×100G),下行总带宽高达3200Gbps,即使配8个100G上联也只有800Gbps,收敛比达到4:1。这种架构下,每台服务器的实际可用带宽取决于同时活跃比例。
收敛比怎么选
通用Web/应用服务器:3:1到4:1即可。数据库集群、实时交易系统:建议不超过2:1。GPU训练集群:尽量做到1:1无收敛,或通过RDMA走独立网络绕过TOR。
第二个决策参数:服务器端网卡选型
确定了TOR交换机的下行端口类型后,服务器端网卡的选择就清晰了。核心原则是:网卡接口类型必须和交换机端口匹配,速率不能低于交换机端口速率。
25G下行:双口SFP28网卡
25G TOR交换机下行端口是SFP28,服务器端配双口25G SFP28网卡。两款典型搭配:
LRES1054PF-2SFP28 是低功耗方案,PCIe 3.0 x8总线,功耗仅13.1W,支持RoCE v1/v2。适合通用服务器,对功耗敏感的机柜环境尤其合适。
LRES1054PF-2SFP28
接口: 2×SFP28 | 速率: 1/10/25G | PCIe: 3.0 x8 | 功耗: 13.1W | RDMA: RoCE v1/v2 |
LRES1001PF-2SFP28 走的是Intel XXV710主控路线,PCIe 3.0 x8,功耗25.0W,支持DPDK、iSCSI、FCoE等协议栈。适合需要完整存储网络协议支持的服务器。
LRES1001PF-2SFP28
接口: 2×SFP28 | 速率: 10/25G | PCIe: 3.0 x8 | 功耗: 25.0W | 主控: Intel XXV710 |
两款网卡都是双口SFP28,可以配bonding做主备或负载均衡,这是服务器网卡的标配做法。
100G下行:单口或双口QSFP28网卡
如果TOR交换机下行端口是100G QSFP28,服务器端需要配100G网卡。
LRES1019PF-QSFP28 是单口100G QSFP28,PCIe 4.0 x16,功耗27.1W。单口够用的场景------比如存储服务器只需要一条100G链路做数据传输------用这款就足够。
LRES1019PF-QSFP28
接口: 1×QSFP28 | 速率: 10/25/50/100G | PCIe: 4.0 x16 | 功耗: 27.1W | RDMA: iWARP/RoCE v2 |
LRES1014PF-2QSFP28 是双口100G QSFP28,PCIe 4.0 x16,功耗11.6W,同样支持RDMA。双口方案给GPU服务器和分布式存储节点提供200G聚合带宽,或者做主备冗余。
LRES1014PF-2QSFP28
接口: 2×QSFP28 | 速率: 10/25/50/100G | PCIe: 4.0 x16 | 功耗: 11.6W | RDMA: 支持 | 主控: Intel E810 |
第三个决策参数:DAC、AOC还是光模块
确定了网卡和交换机端口类型后,还有一个选择------用什么介质把两者连起来。机柜内连接距离通常不超过3米,三种方案各有适用场景。
DAC(Direct Attach Cable,直连铜缆):功耗最低(接近0W),延迟最低,价格最实惠。3米内短距连接的首选。缺点是线缆较粗、弯曲半径大,理线时需要留意。LR-LINK 的 QSFP28-DAC-3m(100G直连)和 QSFP28-4xSFP28-DAC-3m(100G分拆为4路25G)覆盖主流场景。
AOC(Active Optical Cable,有源光缆):线缆比DAC细且柔软,弯曲半径小,理线更方便。功耗略高于DAC(单根约1-2W),价格稍贵。适合机柜内布线空间紧张的情况。
光模块+光纤跳线:灵活性最高------可以选多模(OM3/OM4,100米内)或单模(10km以上),适配不同距离需求。但功耗最高(每个光模块1-3W),组件最多(光模块+光纤跳线+理线配件),综合成本也最高。
| 对比项 | DAC 铜缆 | AOC 光缆 | 光模块+光纤 |
|---|---|---|---|
| 最大距离 | ≤5m | ≤30m | OM3: 100m / SMF: 10km+ |
| 功耗(每链路) | ≈0W | ≈1-2W | ≈2-6W(两端模块) |
| 延迟 | 最低 | 低 | 低(增加光电转换延迟) |
| 理线难度 | 高(线缆粗硬) | 低(细软) | 中 |
| 单链路成本 | ★★ | ★★★ | ★★★★ |
| 适用场景 | 同柜3m内直连 | 同柜空间紧凑/跨柜 | 跨柜/跨列长距连接 |
Breakout线缆的价值
QSFP28-4xSFP28 分拆线缆(DAC和AOC均有)可以将TOR交换机上的一个100G QSFP28端口拆分为4路25G SFP28连接。这种方案在一台TOR交换机上混合接入25G和100G服务器时非常实用:6个100G上联口中拿出2个做分拆,就能额外接入8台25G服务器。
三种搭配方案对比
根据不同业务场景,这里列出三种典型的TOR+网卡搭配方案:
| 方案 | TOR交换机端口 | 服务器网卡 | 连接介质 | 收敛比 | 适用场景 |
|---|---|---|---|---|---|
| 方案一:25G全接入 | 48×25G SFP28 + 6×100G QSFP28 | LRES1054PF-2SFP28 | 25G SFP28 DAC/AOC | 2:1 | 通用Web/应用/数据库服务器 |
| 方案二:100G高性能 | 32×100G QSFP28 + 8×100G QSFP28 | LRES1014PF-2QSFP28 | 100G QSFP28 DAC | 4:1 | GPU训练/分布式存储 |
| 方案三:混合接入 | 48×25G SFP28 + 6×100G QSFP28 | 25G用 LRES1001PF-2SFP28,存储用 LRES1019PF-QSFP28 | 25G直连 + 100G breakout | 2:1~3:1 | 混合负载机柜 |
核心结论
TOR交换机和服务器网卡的搭配,本质上是在"端口密度"和"单机带宽"之间找平衡。25G方案密度高、成本低,适合大多数通用服务器;100G方案带宽充裕,是GP和存储节点的刚需。混合场景下,breakout线缆是灵活调配端口资源的关键手段。
选型常见误区
**误区一:所有服务器都上100G。**100G网卡单卡功耗跨度较大(LRES1014PF-2QSFP28仅11.6W,LRES1019PF-QSFP28为27.1W),但25G低功耗网卡LRES1054PF-2SFP28只有13.1W。如果一个机柜48台服务器全部换100G网卡,仅网卡功耗就增加约700W,对机柜电力和散热都是额外负担。通用服务器跑100G,带宽用不满,电费白交。
**误区二:只看网卡速率,忽略PCIe总线瓶颈。**100G网卡需要PCIe 4.0 x16才能跑满带宽。如果服务器只有PCIe 3.0 x16插槽,单口100G实际带宽上限约126Gbps(PCIe 3.0 x16的理论带宽),基本够用;但如果是PCIe 3.0 x8,100G就跑不满。LRES1014PF-2QSFP28和LRES1019PF-QSFP28都是PCIe 4.0 x16,需要确认服务器主板有对应插槽。
**误区三:DAC和光模块混用不做规划。**DAC铜缆两端的接头是固定焊死的,不能像光模块那样热插拔更换。如果未来需要从25G升级到100G,DAC线缆整根报废,而光模块方案只需换模块和跳线。规划时需要考虑未来升级路径。
常见问题
TOR交换机上联口用什么网卡? TOR交换机的上联口连接的是Spine核心层,走的是交换机对交换机链路,不涉及服务器网卡。TOR上联口通常使用100G QSFP28光模块配单模或多模光纤跳线,具体型号由交换机厂商指定。服务器端网卡只管下行接入这一层。
25G网卡能插在100G TOR交换机的端口上吗? 不能直接插。100G QSFP28端口和�5G SFP28端口的物理接口不兼容。但可以通过QSFP28-4xSFP28分拆线缆,将TOR交换机的一个100G端口拆为4路25G SFP28,再接25G网卡的服务器。这是混合接入场景的常用手段。
一个机柜最多能接多少台25G服务器? 取决于TOR交换机的下行端口数。主流48右25G TOR交换机最多接48台(单网卡)或24台(双网卡bonding)服务器。如果用上联口的breakout分拆,最多可以再接24路25G(6个100G上联口各拆4路,但会影响上联带宽),实际部署不建议这么做。
100G网卡功耗高,机柜电力怎么评估? 以LRES1014PF-2QSFP28为例,单卡功耗11.6W。如果一台2U服务器装两张就是约23W。一个42U机柜装20台这样的服务器,仅网卡功耗就是约460W。规划时需要把网卡功耗计入机柜总功耗预算(通常含CPU、内存、硬盘、网卡),避免超出PDU容量。
DAC铜缆和AOC光缆哪个更可靠? 两者在正常环境下的可靠性差别不大。DAC铜缆没有有源器件,故障率理论上更低,但铜缆较粗较硬,过度弯折可能导致内部线对损伤。AOC光缆内置光电转换芯片,有源器件寿命通常在5年以上。机房布线空间充裕选DAC,空间紧凑选AOC。
本文涉及产品
- LRES1014PF-2QSFP28 --- 100G / QSFP28 / 双口 / PCIe 4.0 x16 / 11.6W
- LRES1019PF-QSFP28 --- 100G / QSFP28 / 单口 / PCIe 4.0 x16 / 27.1W
- LRES1001PF-2SFP28 --- 25G / SFP28 / 双口 / PCIe 3.0 x8 / 25.0W
- LRES1054PF-2SFP28 --- 25G / SFP28 / 双口 / PCIe 3.0 x8 / 13.1W