技术栈
rdma
Felven
5 天前
linux
·
rdma
·
中科驭数
·
100g网卡
中科驭数100G网卡RDMA性能测试
中科驭数100G网口通过光模块与鲲鹏920s 100G直连,测试RDMA性能。鲲鹏920s端操作系统为统信V20服务器版本,内存64G,DDR主频2933MT/s
gwf216
16 天前
性能测试
·
rdma
·
芯片测试
·
dpu
·
roce
·
智能网卡
·
perftest
RDMA子接口与VLAN性能测试
摘要:本文深入剖析RDMA在多租户VLAN环境下的底层架构与GID映射机制,提供两套完整的实战测试矩阵,验证VLAN标签、MTU及QoS隔离对RoCEv2性能的影响。结合真实故障日志,详解PCP/DSCP协同配置及PFC风暴排查链路,为云原生RDMA网络提供权威测试指南。
垆边人似月.
20 天前
网络
·
c/c++
·
rdma
·
高性能io
·
tcp与rdma
RDMA项目踩坑(一):为什么最后一块数据必须使用实际长度?
关键词:RDMA、SEND/RECV、ibv_wc、文件传输、尾块处理我在使用 C 语言和 librdmacm、libibverbs 实现文件同步时,最初沿用了传统 Socket 编程的思路:申请一块固定大小的内存,循环读取文件并发送,接收端按缓冲区容量推进文件偏移。这个方案在文件大小恰好为缓冲区整数倍时不容易暴露问题,但文件通常存在不足一块的尾部数据。此时,如果 SEND 的 SGE 长度仍设置为整个缓冲区大小,发送端就会把本次没有从文件读取到的内存也发送出去。即便接收端最终按照文件总长度停止循环,也无
垆边人似月.
20 天前
linux
·
服务器
·
网络
·
rdma
RDMA 文件传输踩坑(二):为什么 `sleep()` 不能保证接收端准备好了?
关键词:Receive WR、RQ、RC QP、RNR、时序竞争在独立 RDMA 文件传输测试中,我遇到过一个很有迷惑性的现象:主机已经调用 SEND,程序也能打印“发送完成”,但从机并非每次都能正常收到并处理文件。最初为了快速验证,我在发送文件头后加入 sleep(3),在每块数据后加入 usleep(100000)。测试环境负载较轻时,这种方式似乎能提高成功率,于是很容易产生“只要多等一会儿就稳定了”的错觉。然而,文件同步被整合进 KVStore 后,线程调度、文件读写和从机初始化时间都会变化,固定延
孙琦Ray
20 天前
meta
·
开源
·
rdma
·
ai 网络
·
ocp 全球峰会
·
数据中心交换机
Meta 把 AI 网络 RDMA 传输层开源了
Meta 在 2026 年 OCP 全球峰会上公布了一连串网络侧动作,其中最容易被忽略、但对自建 AI 集群的团队影响最直接的一条是:其自研 RDMA 传输协议 MetaRoCE 开始开源。首个用户态实现 libsoftmetaroce 已上 GitHub,基于 DPDK 的版本“即将推出”。
Eloudy
21 天前
网络
·
gpu
·
rdma
`ibv_get_device_list` 实现分析
基于 rdma-core 2410mlnx54 源码(libibverbs/)。ibv_get_device_list() 是 libibverbs 向用户程序暴露的入口,用于返回当前系统上所有可用的 RDMA 设备列表。它本身并不直接打开设备,而是:
Eloudy
21 天前
gpu
·
rdma
MLNX_OFED 源码补齐、Debug/Release 构建命令与修改记录
以下按用途合并整理,便于在新环境复用。需要用户在本机输入 sudo 密码执行。本次未构建这两个可选项目。若后续需要,可安装:
Eloudy
22 天前
llm
·
gpu
·
rdma
从 huggingFace 下载大模型命令备忘
假设是为2张 2080Ti显卡 (11GB/GPU)下载一个10GB左右的模型需要hf的tokenCUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server –model-path /data/models/Qwen2.5-14B-Instruct-AWQ –tp 2 –dtype float16 –host 0.0.0.0 –port 30000 –context-length 8192 –mem-fraction-static 0.80
cyf31
24 天前
网络协议
·
rdma
·
高速通信
·
rocev2
·
wireshark抓包
·
ai 智算网络
·
入门实战
半小时玩转RDMA:从零跑通高速网络通信
传统网络RDMA数据路径App → 内核 → 网卡 → 网络 → 网卡 → 内核 → AppApp → 网卡 → 网络 → 网卡 → App
gwf216
25 天前
性能测试
·
rdma
·
芯片测试
·
dpu
·
roce
·
智能网卡
·
perftest
RC/UC/UD/XRC四种传输模式性能对比与实战选型
摘要:本文深度剖析RDMA四大传输模式(RC/UC/UD/XRC)的底层机制与性能差异。通过DOCA perftest工具实测对比带宽、延迟及资源消耗,结合IBTA规范与大规模集群实战,给出AI训练、分布式存储及RPC场景的选型指南,助力工程师突破RDMA性能瓶颈。
Eloudy
1 个月前
网络
·
gpu
·
rdma
IB Specification Vol 1 Chapter 3 体系结构与 rdma-core-2410mlnx54 实现关联分析
分析对象:IB Spec Chapter 3 从宏观上定义了 InfiniBand 架构的:在 rdma-core-2410mlnx54 中,这些概念主要分布在:
gwf216
1 个月前
性能测试
·
rdma
·
芯片测试
·
dpu
·
roce
·
智能网卡
·
perftest
QP数量与并发深度对RDMA性能的影响:从单QP饱和到多路并行的极限压榨
摘要:本文深入剖析RDMA性能测试中QP数量与并发深度对带宽及延迟的底层影响机制。结合IBTA规范与PCIe总线原理,揭示单QP饱和的物理边界,并通过自动化测试矩阵量化多QP并行增益。提供不同消息尺寸下的数据演变规律及主流DPU芯片的最优配置决策树,助力工程师突破网卡性能瓶颈。
业余程序员plus
1 个月前
rdma
·
qp
·
rocev2
·
dma-buf
·
rdma-core
·
mlx5
·
verbs
RDMA-Verbs-文章导读(一)
本系列以 Linux、rdma-core 和 mlx5 为分析对象,从 Verbs API 开始逐层分析用户态 provider、uverbs、RDMA Core、mlx5 内核驱动和 HCA 硬件,并进一步梳理内存注册、队列创建、数据收发、完成通知以及 GPU DMA-BUF 使用流程。本文说明各篇文章的定位、阅读顺序和源码入口。
业余程序员plus
1 个月前
linux
·
rdma
·
rocev2
·
mlx5
·
verbs
·
uverbs
·
libibverbs
RDMA-Verbs-软件架构(二)
本文以 Linux、rdma-core 和 mlx5 为分析对象,围绕 RC QP、普通 verbs、主机内存与 RoCEv2,介绍各层的职责和接口。rdma-core 是用户态项目,RDMA Core 是 Linux 内核中的 RDMA 通用层。
gwf216
1 个月前
性能测试
·
rdma
·
芯片测试
·
dpu
·
roce
·
智能网卡
·
perftest
带宽与延迟测试的正确打开方式:参数全解
摘要:本文深度解析perftest工具中带宽与延迟测试的核心参数(-s/-n/-N/-D/-a/-b),从RDMA底层协议与网卡微架构出发,剖析参数背后的物理意义。结合AI训练、高频交易等实战场景,提供高可靠的参数组合设计与避坑指南,助你精准定位RDMA网络性能瓶颈,榨干智能网卡极限性能。
gwf216
1 个月前
性能测试
·
rdma
·
dpu
·
roce
·
智能网卡
·
perftest
·
芯片测试。
RDMA性能测试实战(1):perftest工具原理与基线测试方法
摘要:本文系统剖析RDMA性能基准测试工具perftest的技术架构、核心工具矩阵、Verbs级实现机制与标准测试流程,详细讲解ib_write_bw/ib_write_lat的参数体系、输出指标含义与环境配置要点,帮助测试工程师建立RDMA性能基线测试的标准化方法。
gwf216
1 个月前
rdma
·
rocev2
·
linuxkernel
·
数据中心网络
·
devicedriver
·
auxiliarybus
·
erdma
国产RDMA网卡驱动现状、挑战与未来:从内核上游到数据中心实践
一、前言/背景 二、核心概念与设计原理 三、驱动架构与代码实现 四、数据通路与性能关键点 五、实战配置与调优 六、调试方法与工具 七、最佳实践与常见问题 八、总结与展望
zwleagle
1 个月前
rdma
RDMA基本元素之间的关系
下图列了RDMA元素之间最基本的一种关系:PD: 每个QP必属于某个PD, 每个MR也必属于某个PD,每个WQ都必须关联一个CQ 所以创建顺序是先创建PD, 然后注册MR时将PD的指针传给MR注册接口;然后创建QP(在创建QP前要创建CQ), 也需要将PD的指针传递给QP的创建接口
Eloudy
1 个月前
gpu
·
rdma
·
roce
OpenSM 管理 IB 网络简介 与 FabricManager 的设计思路
问:如果IB 网络是 mellanox 网卡 + mellanox 交换机;那么,opensm可以管理这样的IB网络么?从哪里开始管理呢?流程原理是什么?
Eloudy
1 个月前
网络
·
gpu
·
rdma
·
roce
【无标题】
InfiniBand 是一种基于交换机的点对点互连架构,专为当今的系统而开发,并具备扩展以满足下一代系统需求的能力。它既可在 PCB 上作为组件到组件的互连运行,也可作为"机箱外部"的机箱到机箱互连运行。每条独立的链路都基于四线 2.5 Gb/s 的双向连接。该架构定义了分层的硬件协议(物理层、链路层、网络层、传输层)以及用于管理设备间初始化和通信的软件层。每条链路可支持多种传输服务以实现可靠性,并支持多个优先级的虚拟通信通道。