V100 搭环境 cuda-12.2 kmd-535 for peermem module

1. 初始情况

环境:

复制代码
V100 + cuda12.8 (kmd570)+ doca3.4 + gpunetio::RC::write 

问题:

doca_gpu_verbs_export_uar(): cudaHostRegister (err 800) failed

因为在 570 驱动上,V100 的 legacy nvidia_peermem + cudaHostRegister 路径已经不工作了,而 V100 又不支持 DMABuf。所以:

复制代码
解决:V100 平台需要降级到 驱动 535.x / CUDA ≤ 12.2,或者换 Turing 及更新(T4/A100/H100)的 GPU 才能在新驱动上走 DMABuf 路径。

现在的组合是:

组件 版本 对 GPUNetIO 的影响
GPU V100 (Volta) 不支持 DMABuf,只能用 legacy peermem
驱动 570.211.01 (CUDA 12.8) legacy peermem 的 cudaHostRegister UAR export 已被移除/失效

程序的执行路径是这样的:

  1. 优先尝试 DMABuf → V100 硬件不支持 → 报 DMABuf not supported
  2. 回退到 nvidia_peermem legacy 模式 → 注册 CQ/UMEM 都成功了
  3. 最后要把 NIC 的 UAR(doorbell 页)export 给 GPU 时,需要 cudaHostRegister() 注册 BAR 内存 → 在 570 驱动上这条路对 V100 已经不通了 → err 800 (CUDA_ERROR_INVALID_DEVICE) → 失败

也就是说:在驱动 570 + V100 上,DOCA GPUNetIO 的 GPU verbs 路径是走不通的,调模块顺序、重插卡都没用。

2. 卸载 cuda12.8

如果是用 runfile 装的驱动,apt 装的可能冲突,建议先卸:

bash 复制代码
sudo nvidia-uninstall        # runfile 方式安装才有这个
# 或
sudo apt purge nvidia-driver-570 nvidia-dkms-570

3. 安装 nvidia-driver 535

Ubuntu 22.04 仓库里已经没有任何真 535 了,apt 这条路走不通,只能用 NVIDIA 官方 runfile。

改用 runfile 安装真 535

第 1 步:彻底清掉 580

bash 复制代码
sudo apt purge nvidia-driver-535 nvidia-driver-580 'nvidia-*-580' nvidia-kernel-common-580
sudo apt autoremove --purge

确认没有残留:

bash 复制代码
dpkg -l | grep nvidia
find /lib/modules/$(uname -r) -name 'nvidia.ko*'   # 应该没有输出

第 2 步:装内核头文件(DKMS 编译需要)

bash 复制代码
sudo apt install linux-headers-$(uname -r) dkms build-essential

第 3 步:下载 535 runfile

最后一个 535 版本是 535.247.01(2025 年发布,支持 kernel 6.8,也支持 V100):

bash 复制代码
cd ~/cuda_install
wget https://download.nvidia.com/XFree86/Linux-x86_64/535.247.01/NVIDIA-Linux-x86_64-535.247.01.run

第 4 步:安装(注意别选开源模块)

bash 复制代码
sudo sh NVIDIA-Linux-x86_64-535.247.01.run --dkms

安装器会问几个问题,关键点:

  • "Would you like to install the NVIDIA open kernel modules?" → 选 No(V100/peermem 需要闭源)
  • DKMS 注册 → 选 Yes
  • 32-bit 库 → 随意
  • 如果遇到 "cc version check" 之类的警告,可以忽略继续

第 5 步:重启并验证

bash 复制代码
sudo reboot

# 重启后:
cat /proc/driver/nvidia/version    # 应显示 535.247.01
nvidia-smi
modinfo nvidia | grep filename     # 应在 updates/dkms/ 下

第 6 步:恢复 RDMA + 跑 sample

bash 复制代码
sudo modprobe mlx5_ib
sudo modprobe nvidia_peermem

export PATH=/usr/local/cuda-12.2/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH
# 重新编译 gpunetio sample 后运行

两点提醒

  1. 以后别再用 apt 装/升级 NVIDIA 驱动了 ------只要 apt upgrade 碰到 nvidia-driver-580 就会把你的 535 顶掉。如果怕误升级,可以 sudo apt-mark hold 不需要(runfile 装的不走 dpkg),但要留意别再 apt install nvidia-driver-*。
  2. 之前装的 MLNX OFED DKMS 模块(mlnx-ofed-kernel 等)不受影响,但如果 runfile 安装过程中提示与现有模块冲突,照提示先卸载再装即可。

4. 安装 cuda 12.2

很简单:这个 runfile 里捆绑的驱动是旧的 535.54.03,不要让它装驱动,只装 toolkit。两种方法任选:

方法一:交互式安装(推荐,最直观)

bash 复制代码
sudo sh cuda_12.2.0_535.54.03_linux.run

出现界面后:

  1. 在组件列表里,只保留 [X] CUDA Toolkit 12.2
  2. 把 Driver 那一项用回车键取消勾选 (显示 [ ])
  3. 选 Install 开始

这样驱动(你刚装的 535.247.01)完全不动。

方法二:命令行直接跳过驱动

bash 复制代码
sudo sh cuda_12.2.0_535.54.03_linux.run --toolkit --no-opengl-libs

--toolkit 表示只装 toolkit,驱动组件自动被排除。

装完后的收尾

1. 确认版本没被动

bash 复制代码
cat /proc/driver/nvidia/version    # 必须还是 535.247.01
nvidia-smi

如果显示变回了 535.54.03,说明驱动被覆盖重装了,那就得重来(所以方法一取消勾选 Driver 很关键)。

2. 配置环境变量

默认装到 /usr/local/cuda-12.2,建议写进 ~/.bashrc:

bash 复制代码
echo 'export PATH=/usr/local/cuda-12.2/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

nvcc --version    # 应显示 12.2

3. 重建并运行你的 sample

toolkit 换成 12.2 后,gpunetio 和 sample 要用新 toolkit 重新编译(之前可能是用 12.8 编的):

bash 复制代码
export LD_LIBRARY_PATH=/home/hongleili/ex_doca/tmp01_gpu_rc_write/gpunetio/lib:$LD_LIBRARY_PATH

# 重新编译 sample(cmake 里指定 CUDA 12.2,或确保 PATH 指向 12.2 后重新 build)
cd ~/ex_doca/tmp01_gpu_rc_write/gpunetio
# 删掉旧的 build 目录重新 cmake/make

4. 跑之前别忘了 RDMA 模块

bash 复制代码
sudo modprobe mlx5_ib
sudo modprobe nvidia_peermem
lsmod | grep peermem

然后就可以再跑 ./gpunetio_verbs_write_lat -g 65:00.0 -d mlx5_0 -p 2 了------这次 UAR export 应该能过(日志里不再出现 DMABuf not supported 和 cudaHostRegister err 800)。

5. 测试 gpunetio v3.0.0

bash 复制代码
  sudo ip addr add 192.168.0.200/24 dev  enp23s0f0np0
  sudo ip link set enp23s0f0np0 up
  sudo ip addr add 192.168.0.201/24 dev enp23s0f1np1
  sudo ip link set enp23s0f1np1 up
  ifconfig

module:

bash 复制代码
  lsmod | grep peer
  sudo modprobe nvidia-peermem
  lsmod | grep peer

路由:

bash 复制代码
  sudo ip neigh replace 192.168.0.201 lladdr c4:62:37:04:55:75 nud permanent dev enp23s0f0np0
  sudo ip neigh replace 192.168.0.200 lladdr c4:62:37:04:55:74 nud permanent dev enp23s0f1np1
  
  
  
  

运行:

bash 复制代码
  sudo CUDA_VISIBLE_DEVICES=0 LD_LIBRARY_PATH=/home/hongleili/ex_doca/tmp01_gpu_rc_write/gpunetio/lib   DOCA_GPUNETIO_LOG=6 ./gpunetio_verbs_write_lat -g 65:00.0  -d mlx5_0 -p 2
  
  sudo CUDA_VISIBLE_DEVICES=0  LD_LIBRARY_PATH=/home/hongleili/ex_doca/tmp01_gpu_rc_write/gpunetio/lib DOCA_GPUNETIO_LOG=6 ./gpunetio_verbs_write_lat -g 65:00.0 -d mlx5_1 -p 2 -c 192.168.0.200
  
  
   LD_LIBRARY_PATH=/home/hongleili/ex_doca/tmp01_gpu_rc_write/gpunetio/lib DOCA_GPUNETIO_LOG=6 ./gpunetio_verbs_write_lat -h

数包:

bash 复制代码
IF=enp23s0f1np1
while true; do sleep 1; tx=$(sudo ethtool -S $IF | awk '/tx_vport_rdma_unicast_packets/{print $2}'); rx=$(sudo ethtool -S $IF | awk '/rx_vport_rdma_unicast_packets/{print $2}'); printf "GPUNetIO RoCE: TX %'d pps RX %'d pps\n" $((tx-prev_tx)) $((rx-prev_rx)); prev_tx=$tx; prev_rx=$rx; done
相关推荐
Felven8 天前
中科驭数100G网卡RDMA性能测试
linux·rdma·中科驭数·100g网卡
gwf21620 天前
RDMA子接口与VLAN性能测试
性能测试·rdma·芯片测试·dpu·roce·智能网卡·perftest
垆边人似月.23 天前
RDMA项目踩坑(一):为什么最后一块数据必须使用实际长度?
网络·c/c++·rdma·高性能io·tcp与rdma
垆边人似月.23 天前
RDMA 文件传输踩坑(二):为什么 `sleep()` 不能保证接收端准备好了?
linux·服务器·网络·rdma
孙琦Ray24 天前
Meta 把 AI 网络 RDMA 传输层开源了
meta·开源·rdma·ai 网络·ocp 全球峰会·数据中心交换机
Eloudy24 天前
`ibv_get_device_list` 实现分析
网络·gpu·rdma
Eloudy25 天前
MLNX_OFED 源码补齐、Debug/Release 构建命令与修改记录
gpu·rdma
Eloudy25 天前
从 huggingFace 下载大模型命令备忘
llm·gpu·rdma
cyf311 个月前
半小时玩转RDMA:从零跑通高速网络通信
网络协议·rdma·高速通信·rocev2·wireshark抓包·ai 智算网络·入门实战