rdma

Meta 把 AI 网络 RDMA 传输层开源了Meta 在 2026 年 OCP 全球峰会上公布了一连串网络侧动作，其中最容易被忽略、但对自建 AI 集群的团队影响最直接的一条是：其自研 RDMA 传输协议 MetaRoCE 开始开源。首个用户态实现 libsoftmetaroce 已上 GitHub，基于 DPDK 的版本“即将推出”。

`ibv_get_device_list` 实现分析基于 rdma-core 2410mlnx54 源码（libibverbs/）。ibv_get_device_list() 是 libibverbs 向用户程序暴露的入口，用于返回当前系统上所有可用的 RDMA 设备列表。它本身并不直接打开设备，而是：

MLNX_OFED 源码补齐、Debug/Release 构建命令与修改记录以下按用途合并整理，便于在新环境复用。需要用户在本机输入 sudo 密码执行。本次未构建这两个可选项目。若后续需要，可安装：

从 huggingFace 下载大模型命令备忘假设是为2张 2080Ti显卡（11GB/GPU）下载一个10GB左右的模型需要hf的tokenCUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server –model-path /data/models/Qwen2.5-14B-Instruct-AWQ –tp 2 –dtype float16 –host 0.0.0.0 –port 30000 –context-length 8192 –mem-fraction-static 0.80

半小时玩转RDMA：从零跑通高速网络通信传统网络RDMA数据路径App → 内核 → 网卡 → 网络 → 网卡 → 内核 → AppApp → 网卡 → 网络 → 网卡 → App

RC/UC/UD/XRC四种传输模式性能对比与实战选型摘要：本文深度剖析RDMA四大传输模式（RC/UC/UD/XRC）的底层机制与性能差异。通过DOCA perftest工具实测对比带宽、延迟及资源消耗，结合IBTA规范与大规模集群实战，给出AI训练、分布式存储及RPC场景的选型指南，助力工程师突破RDMA性能瓶颈。

IB Specification Vol 1 Chapter 3 体系结构与 rdma-core-2410mlnx54 实现关联分析分析对象：IB Spec Chapter 3 从宏观上定义了 InfiniBand 架构的：在 rdma-core-2410mlnx54 中，这些概念主要分布在：

QP数量与并发深度对RDMA性能的影响：从单QP饱和到多路并行的极限压榨摘要：本文深入剖析RDMA性能测试中QP数量与并发深度对带宽及延迟的底层影响机制。结合IBTA规范与PCIe总线原理，揭示单QP饱和的物理边界，并通过自动化测试矩阵量化多QP并行增益。提供不同消息尺寸下的数据演变规律及主流DPU芯片的最优配置决策树，助力工程师突破网卡性能瓶颈。

业余程序员plus

RDMA-Verbs-文章导读（一）本系列以 Linux、rdma-core 和 mlx5 为分析对象，从 Verbs API 开始逐层分析用户态 provider、uverbs、RDMA Core、mlx5 内核驱动和 HCA 硬件，并进一步梳理内存注册、队列创建、数据收发、完成通知以及 GPU DMA-BUF 使用流程。本文说明各篇文章的定位、阅读顺序和源码入口。

业余程序员plus

RDMA-Verbs-软件架构（二）本文以 Linux、rdma-core 和 mlx5 为分析对象，围绕 RC QP、普通 verbs、主机内存与 RoCEv2，介绍各层的职责和接口。rdma-core 是用户态项目，RDMA Core 是 Linux 内核中的 RDMA 通用层。

带宽与延迟测试的正确打开方式：参数全解摘要：本文深度解析perftest工具中带宽与延迟测试的核心参数（-s/-n/-N/-D/-a/-b），从RDMA底层协议与网卡微架构出发，剖析参数背后的物理意义。结合AI训练、高频交易等实战场景，提供高可靠的参数组合设计与避坑指南，助你精准定位RDMA网络性能瓶颈，榨干智能网卡极限性能。

RDMA性能测试实战(1)：perftest工具原理与基线测试方法摘要：本文系统剖析RDMA性能基准测试工具perftest的技术架构、核心工具矩阵、Verbs级实现机制与标准测试流程，详细讲解ib_write_bw/ib_write_lat的参数体系、输出指标含义与环境配置要点，帮助测试工程师建立RDMA性能基线测试的标准化方法。

国产RDMA网卡驱动现状、挑战与未来：从内核上游到数据中心实践一、前言/背景二、核心概念与设计原理三、驱动架构与代码实现四、数据通路与性能关键点五、实战配置与调优六、调试方法与工具七、最佳实践与常见问题八、总结与展望

RDMA基本元素之间的关系下图列了RDMA元素之间最基本的一种关系:PD: 每个QP必属于某个PD, 每个MR也必属于某个PD，每个WQ都必须关联一个CQ 所以创建顺序是先创建PD, 然后注册MR时将PD的指针传给MR注册接口；然后创建QP(在创建QP前要创建CQ), 也需要将PD的指针传递给QP的创建接口

OpenSM 管理 IB 网络简介与 FabricManager 的设计思路问：如果IB 网络是 mellanox 网卡 + mellanox 交换机；那么，opensm可以管理这样的IB网络么？从哪里开始管理呢？流程原理是什么？

【无标题】InfiniBand 是一种基于交换机的点对点互连架构，专为当今的系统而开发，并具备扩展以满足下一代系统需求的能力。它既可在 PCB 上作为组件到组件的互连运行，也可作为"机箱外部"的机箱到机箱互连运行。每条独立的链路都基于四线 2.5 Gb/s 的双向连接。该架构定义了分层的硬件协议（物理层、链路层、网络层、传输层）以及用于管理设备间初始化和通信的软件层。每条链路可支持多种传输服务以实现可靠性，并支持多个优先级的虚拟通信通道。

内核态RDMA驱动调试技巧：ftrace/tracepoint/crash分析 —— 深入驱动底层的排错艺术📑 目录一、前言/背景二、核心概念与设计原理三、驱动架构与代码实现四、数据通路与性能关键点五、实战配置与调优六、调试方法与工具七、最佳实践与常见问题八、总结与展望

Debug Soft-RoCE (RXE) 完整流程推荐使用 Ubuntu 22.04 LTS，内核版本 5.15 或更高（Soft-RoCE 驱动自 Linux 4.8 起已合入内核）。普通以太网卡即可，无需专用 RDMA 硬件。建议内存至少 4GB。

常见驱动问题定位与解决：设备识别、性能不达预期、CQ错误码 —— 资深RDMA驱动调试排错指南一、前言/背景二、核心概念与设计原理三、驱动架构与代码实现四、数据通路与性能关键点五、实战配置与调优六、调试方法与工具七、最佳实践与常见问题八、总结与展望

DOCA GPUNetIO 开源版（GDAKI）实现分析分析对象：./gpunetio/（NVIDIA DOCA GPUNetIO Open Source，v5.0.0）定位：以 DOCA 风格 API 实现的 GPUDirect Async Kernel-Initiated（GDAKI）通信库——让 CUDA kernel 直接发起 RDMA 通信（InfiniBand / RoCE），无需 CPU 介入数据面。开源版范围：仅支持 RC（Reliable Connection）单边语义的 GPU 数据面（put/signal/counter 等），双