RDMA设计64:数据吞吐量性能测试分析

本博文主要交流设计思路,在本博客已给出相关博文约190篇,希望对初学者有用。 注意这里只是抛砖引玉,切莫认为参考这就可以完成商用IP 设计。

这里将在基于 XCZU47DR FPGA 核心的开发板上对 RoCE v2 高速传输系统进行数据吞吐量、包吞吐量及传输延迟性能测试,并对测试结果进行解读与分析。

数据吞吐量是评估连续数据传输性能的核心指标,数据吞吐量越高,表明系统面临大量数据传输请求时拥有更强的数据传输能力和更高的速率。由于数据吞吐量受队列数量及队列深度影响较小,故这里使用单队列对不同长度的数据包进行数据吞吐量测试。在进行数据吞吐量测试时由于 SEND 指令为双边语义,不涉及到大量数据的传输,故数据吞吐量测试只对 READ 和 WRITE 指令进行。同时由于远程主机内存限制,进行数据吞吐量测试时的传输长度为 1MB-1GB。数据吞吐量测试结果如图 1所示。

由于 READ 和 WRITE 指令单边语义的特点,在进行数据交互时,并不需要远程主机 CPU 参与,故无法直接使用 CPU 监控的方式进行数据吞吐量测试。在进行 READ指令数据吞吐量测试时,通过在 FPGA 侧对收到的数据字节数进行统计,当收到的数据字节数等于期望的数据量是,则认为数据传输结束,以此时间来计算数据吞吐量。而对于 WRITE 指令,在 FPGA 侧进行数据字节数统计的方式并不严谨,故在远程主机上持续轮询内存数据边界,当内存边界数据与预期相同时,则认为数据传输结束,计算数据吞吐量。

图1 数据吞吐量测试结果图

测试结果图表明,WRITE 指令数据吞吐量一直大于 READ 指令数据吞吐量,原因有以下两点。第一个原因是,READ 指令由远程主机响应并处理数据,其数据吞吐量与远程主机 PCIe 总线性能及 DDR 读取、寻址操作等强相关。其二是 WRITE 指令数据包在 FPGA 上组装,远程主机只负责将数据写入 DDR,而 READ 指令则需要远程主机从 DDR 中读取数据,并组装数据包后在发送给 FPGA。以上两点原因共同作用导致 READ 指令数据吞吐量小于 WRITE 指令数据吞吐量。

当传输长度从 1MB 向 1GB 递增时,READ 指令与 WRITE 指令的传输速度均呈上升趋势,持续逼近理论速率极限,并在传输长度大于 128 MB 后趋于稳定。上图中给出的数据吞吐量为去掉所有头部开销后,净数据的传输速率。如果包含所有头部开销,则 READ 指令数据吞吐量为 92.10 Gbps,WRITE 指令数据吞吐量为 97.49 Gbps,速率接近理论极限且大于项目要求速率 90 Gbps,可以满足项目设计需求,实现了设计目标。此外的,麦洛斯 CX455-A 网卡工作在 Ethernet 物理层模式下时,存在一定程度上的理论速率降低现象,理论极限速率约为 98.5Gbps。故本设计实现的 RoCE v2

高速传输系统数据吞吐量已逼近理论极限速率。

相关推荐
weixin_446260858 小时前
从被动镜像到主动智能体:面向网络物理人工智能的整体论数字孪生(HDT-Net)
网络·人工智能
学习FPGA的电气小兴兴8 小时前
基于FPGA的DDS信号发生器设计,生成频率可调的正弦波、三角波、锯齿波和方波
fpga开发·数字信号处理·fpga·vivado·dsp·dds·diy
ZJH__GO8 小时前
网络编程v4pro--实现聊天室文件传输功能
java·服务器·网络·计算机网络
shengnan_wsn11 小时前
【协议】【TCP】
网络·网络协议·tcp/ip
烟雨江南78511 小时前
2026汽车制造与新能源整车柔性产线Agentic-Workflow白皮书:跨APS_MES_ERP多智能体动态排产与装配容错实战
大数据·网络·人工智能·自动化·ai客服·企业agent
小僧景贤11 小时前
CAN调试全套配件+详细实操使用方法(从零排查、步骤落地、现场通用)
网络·can通信·嵌入式通信
迪康Defender12 小时前
从静态存储到动态流转:终端透明加密两种模式实战解析
运维·服务器·网络·数据库·其他
振浩微433射频芯片12 小时前
用TU2303B双向无线模块打通标准化智能家居接入:433MHz方案的落地优势指南
服务器·网络·人工智能
清欢渡---13 小时前
双机热备旁挂组网实验
网络·防火墙·双机热备
zero_703214 小时前
HCIP 课程文字版思维导图笔记
服务器·网络·php