学习: libfabric 2.0

libfabric 2.0 (OpenFabrics Interfaces / OFI,2024-12 发布)不是"加几个 API"的小版本,而是把 OFI 从"HPC RDMA 抽象层"重新定位成 AI/HPC fabric 的统一北向接口,尤其给 Ultra Ethernet / UET 当软件底座。

一、为什么有 libfabric 2.0

  • 1.x 里堆了很多历史 provider / 内存模型 / 进度模型,云厂和 NIC 厂商都不好优化
  • UEC 要定义下一代以太网 RDMA 传输(UET),需要一个"现代、干净、可映射到 packet spraying / 乱序放置 / 选择性重传"的 API
  • 结果:UET 软件 API = libfabric 2.0 + UEC 扩展

二、2.0 本身的 API/工程变化

  • 删废弃特性:FI_MR_BASIC、FI_MR_SCALABLE、FI_LOCAL_MR、异步 MR 注册、poll sets、FI_THREAD_FID/ENDPOINT 等
  • fi_info 必须由 libfabric 分配,不允许手搓结构体(方便 provider 藏私有字段)
  • 进度模型合并:control_progress + data_progress → 单个 progress
  • 删老 provider:sockets、usnic、gni、bgq、netdir、rstream;sockets 可用 tcp 替代
  • 线程模型收敛:标准 EP 倾向 FI_THREAD_DOMAIN,可扩展 EP 倾向 FI_THREAD_COMPLETION
  • 目标:减少 provider 复杂度,让 NIC 做 lockless / zero-copy / offload 更顺

三、为 AI / UET 加的东西

  • 标准化 tag format (mem_tag_format → max_tag_bits 思路),更适配集合通信
  • 新 atomic 类型,面向 AI 张量/梯度类操作
  • inter-provider 用法稳定化:同一应用可在 verbs / cxix / efa / 未来 UET provider 间切换
  • UET 映射里引入:
    • FI_ADDR_UET
    • DGRAM/RDM endpoint 语义
    • Rendezvous / Deferrable Send
    • Tagged / Untagged / RMA / Atomic
    • Traffic Class、Packet Delivery Context
    • AI Base / AI Full / HPC 三档 profile

四、libfabric 2.0 在生态里的位置

复制代码
MPI / OpenSHMEM / SHMEM / CCL / DAOS
            ↓
        libfabric 2.0  (OFI API)
            ↓
 provider: verbs | efa | cxix | opx | tcp | UET provider
            ↓
   InfiniBand / RoCEv2 / EFA / UET(Ethernet)
  • MPI:MPICH / Open MPI 走 OFI
  • 存储:DAOS
  • PGAS/SHMEM:GASNet、OpenSHMEM、UPC
  • AI:CCL 库通过 libfabric 对接不同 fabric,不直接绑 Verbs

五、和 RDMA Verbs 的区别(很关键)

  • Verbs:贴近 IB/RoCE QP/MR/CQ,硬件味重,AI 大模型要自己包一层
  • libfabric:语义层更厚,message / tagged / RMA / atomic / collective 一体,适合跨 fabric
  • UEC 不选 Verbs 而选 libfabric,是因为 Verbs 的"面向连接/有序/Go-Back-N"假设和 UET 的"无连接/多路径 spraying/乱序放置"不对齐

六、2025-2026 现状

  • libfabric 已走到 2.1 / 2.2 / 2.3 / 2.4,2.0 是基线不是终点
  • UEC 1.0(2025-06)明确以 libfabric 2.0 为软件契约
  • 生产侧:
    • IB/RoCE 集群:还是 verbs/NCCL 为主,libfabric 多在 MPI/DAOS
    • UET 设备出来后:厂商会提供 libfabric UET provider ,对应用看起来还是 fi_send/fi_write/fi_atomic
  • 采购别只问"支持 libfabric":要问支持哪些 provider、哪些 UET profile、atomic 集合、inject 大小、MR 模型、collective offload

七、一句话

libfabric 2.0 = 把"高性能网络通信"从 IB/RoCE 的 verbs 世界,升级成 AI 十万卡时代的 fabric 中间件标准;UET 负责重做传输层,libfabric 2.0 负责让 MPI/SHMEM/CCL 不用重写就能用上新网络。

相关推荐
Rabitebla11 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
manduic13 小时前
汽车座舱Buck选型实战:AWK6613 对比 SCT2432,参数逐项对齐(附选型清单)
网络·汽车
通信王6618 小时前
NBIOT NTN协议整理-TS36.211
网络
光电笑映20 小时前
TCP 为什么可靠?从三次握手、滑动窗口到拥塞控制全面拆解(上)
运维·服务器·网络·udp
Vni20 小时前
华三双核心交换机IRF堆叠
网络·交换机·堆叠·华三
15Moonlight21 小时前
Linux 网络(11):IO 多路转接(select /poll/epoll)
linux·网络
峥嵘life1 天前
Android16 热点「网络共享」开关的设计与实现
服务器·网络·microsoft
15Moonlight1 天前
Linux网络(12):Reactor 模式
linux·网络
其实防守也摸鱼2 天前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构
优化Henry2 天前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd