Spark 支持的以太网全协议栈（分层梳理，区分原生默认 / 高速 RDMA 扩展）
Spark 本身不绑定任何以太网标准，它工作在 TCP/IP 应用层，所有底层以太网、二层、RDMA 协议由操作系统 / 网卡 / UCX 库承载，只要硬件内核支持，Spark 全部透明兼容。
一、二层标准以太网（数据链路层 L2，全部原生支持）
1. 基础以太网帧标准
- IEEE 802.3 基础以太网（所有速率：1G/10G/25G/100G/200G/400GbE）
- IEEE 802.3ac：VLAN 标签扩展帧（1522 字节，802.1Q，集群 VLAN 隔离必用）
- IEEE 802.3ae(10G) / 802.3bm(100G NRZ) / 802.3cd(200G PAM4) / 802.3ck(400G) 100G/200G/400G 高速以太网，DGX/AI Spark 集群主流，PAM4/NRZ 调制 Spark 无感知
- 巨帧 Jumbo Frame：MTU 9000，标准 802.3 扩展，Spark Shuffle 强烈推荐开启
2. 二层辅助协议（集群网络必备）
- 802.1Q VLAN（802.3ac 配套）
- LLDP 802.1AB 链路发现
- STP/RSTP/MSTP 二层防环路
- PFC 802.1Qbb（无损以太网，RoCEv2 强制依赖）
- ECN 802.1Qaz 拥塞标记（RoCEv2 流控）
- ARP/ND：IP↔MAC 地址解析
二、三层网络层（IP，Spark 默认通信底座）
Spark 所有 RPC、Shuffle、YARN 通信默认基于 IP：
- IPv4：全版本原生支持（默认）
- IPv6：Spark 完整兼容，可配置 driver/executor 绑定 IPv6 地址
三、传输层协议（两类路线：标准 TCP、高速 RDMA 以太网）
路线 1：默认标准 TCP/IP（无特殊网卡依赖，所有 Spark 通用）
- TCP ：Spark 原生唯一内置传输协议
- Driver ↔ Executor RPC、Shuffle 块拉取、Spark Connect (gRPC over TCP)、YARN 通信全部走 Netty TCP
- UDP：Spark 原生逻辑不使用，仅RoCEv2 底层承载
路线 2：以太网 RDMA 协议（UCX/RAPIDS 扩展，AI 大集群提速 Shuffle）
基于标准以太网，在 TCP/IP 之外旁路内核栈，Spark 通过 UCX 库对接：
- RoCE v2（主流推荐）
- 底层封装：以太网帧 + UDP/IP（三层可路由，跨 VLAN / 网段）
- 标准：IBTA 规范，兼容所有 100G/200G 以太网交换机
- Spark 启用：
spark.shuffle.manager=UCX（RAPIDS GPU Spark 标配）
- RoCE v1（老旧二层 RDMA，不推荐，仅同广播域）
- iWARP（TCP 封装 RDMA，少见，Spark 兼容但极少部署）
区分：InfiniBand(IB) 是独立网络（非以太网），RoCE 才是以太网原生 RDMA；Spark 同时支持 IB 与 RoCE 两套 RDMA 方案。
四、Spark 上层应用通信协议（跑在以太网之上）
- Spark 内部 RPC：Netty TCP 私有协议
- Shuffle 传输：默认 Netty TCP；UCX 模式走 RoCEv2 RDMA
- Spark Connect：gRPC over HTTP/2 over TCP
- 存储交互：HDFS/S3 均基于 TCP/IP 以太网
五、一句话总结支持范围
- 所有 IEEE 802.3 系列以太网物理 / 帧标准全覆盖（含 802.3ac VLAN、100G/200G PAM4 高速以太网）；
- 二层 VLAN、无损 PFC/ECN、巨帧全部透明兼容；
- 传输层两条通路：标准 TCP（默认通用）、RoCEv2 以太网 RDMA（高性能 GPU 集群）；
- IPv4/IPv6 双栈完整支持，底层以太网硬件对 Spark 完全无感，无需修改 Spark 代码。
补充实操边界
- 普通大数据 x86 集群：只用标准以太网 + TCP；
- DGX/H100/H200 GPU Spark 集群：200GbE(802.3cd)+RoCEv2+UCX Shuffle；
- IB 专用集群：Spark 可直接跑 IB 原生 RDMA，不依赖以太网。