1. 初始情况
环境:
V100 + cuda12.8 (kmd570)+ doca3.4 + gpunetio::RC::write
问题:
doca_gpu_verbs_export_uar(): cudaHostRegister (err 800) failed
因为在 570 驱动上,V100 的 legacy nvidia_peermem + cudaHostRegister 路径已经不工作了,而 V100 又不支持 DMABuf。所以:
解决:V100 平台需要降级到 驱动 535.x / CUDA ≤ 12.2,或者换 Turing 及更新(T4/A100/H100)的 GPU 才能在新驱动上走 DMABuf 路径。
现在的组合是:
| 组件 | 版本 | 对 GPUNetIO 的影响 |
|---|---|---|
| GPU | V100 (Volta) | 不支持 DMABuf,只能用 legacy peermem |
| 驱动 | 570.211.01 (CUDA 12.8) | legacy peermem 的 cudaHostRegister UAR export 已被移除/失效 |
程序的执行路径是这样的:
- 优先尝试 DMABuf → V100 硬件不支持 → 报
DMABuf not supported - 回退到 nvidia_peermem legacy 模式 → 注册 CQ/UMEM 都成功了
- 最后要把 NIC 的 UAR(doorbell 页)export 给 GPU 时,需要
cudaHostRegister()注册 BAR 内存 → 在 570 驱动上这条路对 V100 已经不通了 →err 800 (CUDA_ERROR_INVALID_DEVICE)→ 失败
也就是说:在驱动 570 + V100 上,DOCA GPUNetIO 的 GPU verbs 路径是走不通的,调模块顺序、重插卡都没用。
2. 卸载 cuda12.8
如果是用 runfile 装的驱动,apt 装的可能冲突,建议先卸:
bash
sudo nvidia-uninstall # runfile 方式安装才有这个
# 或
sudo apt purge nvidia-driver-570 nvidia-dkms-570
3. 安装 nvidia-driver 535
Ubuntu 22.04 仓库里已经没有任何真 535 了,apt 这条路走不通,只能用 NVIDIA 官方 runfile。
改用 runfile 安装真 535
第 1 步:彻底清掉 580
bash
sudo apt purge nvidia-driver-535 nvidia-driver-580 'nvidia-*-580' nvidia-kernel-common-580
sudo apt autoremove --purge
确认没有残留:
bash
dpkg -l | grep nvidia
find /lib/modules/$(uname -r) -name 'nvidia.ko*' # 应该没有输出
第 2 步:装内核头文件(DKMS 编译需要)
bash
sudo apt install linux-headers-$(uname -r) dkms build-essential
第 3 步:下载 535 runfile
最后一个 535 版本是 535.247.01(2025 年发布,支持 kernel 6.8,也支持 V100):
bash
cd ~/cuda_install
wget https://download.nvidia.com/XFree86/Linux-x86_64/535.247.01/NVIDIA-Linux-x86_64-535.247.01.run
第 4 步:安装(注意别选开源模块)
bash
sudo sh NVIDIA-Linux-x86_64-535.247.01.run --dkms
安装器会问几个问题,关键点:
- "Would you like to install the NVIDIA open kernel modules?" → 选 No(V100/peermem 需要闭源)
- DKMS 注册 → 选 Yes
- 32-bit 库 → 随意
- 如果遇到 "cc version check" 之类的警告,可以忽略继续
第 5 步:重启并验证
bash
sudo reboot
# 重启后:
cat /proc/driver/nvidia/version # 应显示 535.247.01
nvidia-smi
modinfo nvidia | grep filename # 应在 updates/dkms/ 下
第 6 步:恢复 RDMA + 跑 sample
bash
sudo modprobe mlx5_ib
sudo modprobe nvidia_peermem
export PATH=/usr/local/cuda-12.2/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH
# 重新编译 gpunetio sample 后运行
两点提醒
- 以后别再用 apt 装/升级 NVIDIA 驱动了 ------只要
apt upgrade碰到nvidia-driver-580就会把你的 535 顶掉。如果怕误升级,可以sudo apt-mark hold不需要(runfile 装的不走 dpkg),但要留意别再apt install nvidia-driver-*。 - 之前装的 MLNX OFED DKMS 模块(
mlnx-ofed-kernel等)不受影响,但如果 runfile 安装过程中提示与现有模块冲突,照提示先卸载再装即可。
4. 安装 cuda 12.2
很简单:这个 runfile 里捆绑的驱动是旧的 535.54.03,不要让它装驱动,只装 toolkit。两种方法任选:
方法一:交互式安装(推荐,最直观)
bash
sudo sh cuda_12.2.0_535.54.03_linux.run
出现界面后:
- 在组件列表里,只保留
[X] CUDA Toolkit 12.2 - 把
Driver那一项用回车键取消勾选 (显示[ ]) - 选
Install开始
这样驱动(你刚装的 535.247.01)完全不动。
方法二:命令行直接跳过驱动
bash
sudo sh cuda_12.2.0_535.54.03_linux.run --toolkit --no-opengl-libs
--toolkit 表示只装 toolkit,驱动组件自动被排除。
装完后的收尾
1. 确认版本没被动
bash
cat /proc/driver/nvidia/version # 必须还是 535.247.01
nvidia-smi
如果显示变回了 535.54.03,说明驱动被覆盖重装了,那就得重来(所以方法一取消勾选 Driver 很关键)。
2. 配置环境变量
默认装到 /usr/local/cuda-12.2,建议写进 ~/.bashrc:
bash
echo 'export PATH=/usr/local/cuda-12.2/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
nvcc --version # 应显示 12.2
3. 重建并运行你的 sample
toolkit 换成 12.2 后,gpunetio 和 sample 要用新 toolkit 重新编译(之前可能是用 12.8 编的):
bash
export LD_LIBRARY_PATH=/home/hongleili/ex_doca/tmp01_gpu_rc_write/gpunetio/lib:$LD_LIBRARY_PATH
# 重新编译 sample(cmake 里指定 CUDA 12.2,或确保 PATH 指向 12.2 后重新 build)
cd ~/ex_doca/tmp01_gpu_rc_write/gpunetio
# 删掉旧的 build 目录重新 cmake/make
4. 跑之前别忘了 RDMA 模块
bash
sudo modprobe mlx5_ib
sudo modprobe nvidia_peermem
lsmod | grep peermem
然后就可以再跑 ./gpunetio_verbs_write_lat -g 65:00.0 -d mlx5_0 -p 2 了------这次 UAR export 应该能过(日志里不再出现 DMABuf not supported 和 cudaHostRegister err 800)。
5. 测试 gpunetio v3.0.0
bash
sudo ip addr add 192.168.0.200/24 dev enp23s0f0np0
sudo ip link set enp23s0f0np0 up
sudo ip addr add 192.168.0.201/24 dev enp23s0f1np1
sudo ip link set enp23s0f1np1 up
ifconfig
module:
bash
lsmod | grep peer
sudo modprobe nvidia-peermem
lsmod | grep peer
路由:
bash
sudo ip neigh replace 192.168.0.201 lladdr c4:62:37:04:55:75 nud permanent dev enp23s0f0np0
sudo ip neigh replace 192.168.0.200 lladdr c4:62:37:04:55:74 nud permanent dev enp23s0f1np1
运行:
bash
sudo CUDA_VISIBLE_DEVICES=0 LD_LIBRARY_PATH=/home/hongleili/ex_doca/tmp01_gpu_rc_write/gpunetio/lib DOCA_GPUNETIO_LOG=6 ./gpunetio_verbs_write_lat -g 65:00.0 -d mlx5_0 -p 2
sudo CUDA_VISIBLE_DEVICES=0 LD_LIBRARY_PATH=/home/hongleili/ex_doca/tmp01_gpu_rc_write/gpunetio/lib DOCA_GPUNETIO_LOG=6 ./gpunetio_verbs_write_lat -g 65:00.0 -d mlx5_1 -p 2 -c 192.168.0.200
LD_LIBRARY_PATH=/home/hongleili/ex_doca/tmp01_gpu_rc_write/gpunetio/lib DOCA_GPUNETIO_LOG=6 ./gpunetio_verbs_write_lat -h
数包:
bash
IF=enp23s0f1np1
while true; do sleep 1; tx=$(sudo ethtool -S $IF | awk '/tx_vport_rdma_unicast_packets/{print $2}'); rx=$(sudo ethtool -S $IF | awk '/rx_vport_rdma_unicast_packets/{print $2}'); printf "GPUNetIO RoCE: TX %'d pps RX %'d pps\n" $((tx-prev_tx)) $((rx-prev_rx)); prev_tx=$tx; prev_rx=$rx; done