roce v2

NVME-oF IP 设计15 ：适于高速网络存储系统的IP设计1目前，短时高速传输需求呈爆发式发展，这类数据具有瞬时带宽高、数据量集中、写入时延敏感等典型特征。相关技术要求如下： 1）在数据写入性能方面，数据吞吐可达到数十Gbps量级，若存储系统无法提供足够的持续写入带宽，将直接导致缓存溢出或数据丢失。因此，存储系统必须具备高吞吐、低抖动、可持续写入能力，能够在短时间内吸收大量突发数据流。目前大部分设备在连续读写下传输带宽需要满足大于40 Gbps要求。 2）在容量与扩展性方面，由于数据体量巨大，单次任务可能产生数百GB至数TB级数据。系统需支持多块固态存储设备协同工

NVME-oF IP 设计16 ：适于高速网络存储系统的IP设计2IP使用离不开应用需求，本博客以某项目为例，介绍本IP应用。续上文：表1 网络传输系统的具体性能指标为满足以上需求，该系用采用一种基于 NVMe over Fabrics（NVMe-oF）的网络化高性能存储系统。系统整体架构如图1所示，按照功能划分可分为网络接口层、网络协议层、存储层及内存管理层四个部分。其中，核心功能由RDMA IP模块、NVMe-oF模块以及NVMe Host Controller（NVMe HC）模块协同完成。

NVME-oF IP 设计12 ： Capsule是胶囊？Capsule字面意思是胶囊，它在是 NVMe-oF扮演什么角色呢？实际上它从协议层与传输层解耦，就是NVMe oF标准消息容器，并且它是 NVMe-oF 跨网络通信的最小逻辑单元，其用于在网络上传输NVMe命令。它的架构定位如图1所示：图1 Capsule 的架构定位

NVME-oF IP 设计10：设计目标是什么？NVMe-oF协议的设计目标是使远程NVMe设备能够以接近本地NVMe的性能被访问。在传统网络存储系统中，例如iSCSI或NFS，数据传输需要经过复杂的网络协议栈处理，并且存在较多的数据复制和上下文切换操作，从而导致较高的访问延迟。相比之下，NVMe-oF通过保持NVMe命令结构不变，并在高速网络上传输NVMe命令，使远程访问能够保持较低的协议开销。 NVMe-oF的第一个设计目标是降低远程访问延迟。NVMe协议本身具有较低的命令处理开销，而NVMe-oF通过轻量级协议封装和高性能网络传输机制，使远程NV

NVME-oF IP 设计11 ：控制面与数据面干什么用？NVMe-oF协议在结构上可以分为控制面（Control Plane）和数据面（Data Plane）两个部分。控制面主要负责连接建立、队列创建以及设备管理等操作，而数据面则负责实际的数据读写传输。控制面主要通过管理命令实现。例如，在NVMe-oF建立连接时，Initiator需要首先发送Discover命令获取可用Target信息，然后通过Connect命令建立NVMe-oF会话，如图1所示。在连接建立过程中，双方需要协商队列数量、队列深度以及其他协议参数。在这之后可能会进入认证阶段。完成这些操作后，

NVME-oF IP 设计7 ：设计扫盲5# QP、WR、CQ、MR 等核心概念RDMA 通信模型中涉及多个核心组件，其中包括队列对（QP）、工作请求（WR）、完成队列（CQ）以及内存区域（Memory Region，MR）等概念，这些组件共同构成了RDMA数据传输机制的基础。

NVME-oF IP 设计5 ：设计扫盲3# RDMA 与 RoCEv2 技术远程直接内存访问（Remote Direct Memory Access，RDMA）是一种高性能网络通信技术，其核心思想是在网络通信过程中绕过操作系统内核，使数据能够直接在应用程序内存之间进行传输，从而显著降低CPU参与度和系统调用开销。传统的TCP/IP网络通信需要经过内核协议栈处理、缓冲区复制以及中断机制等多个阶段，这些操作在高并发和高带宽场景下会产生较大的延迟和CPU开销。相比之下，RDMA技术通过硬件网络接口卡（RNIC）直接完成数据搬运，使远程节点能够直接访问

NVME-oF IP 设计1 ：为什么要设计它？近年来，以NAND Flash为核心的固态硬盘（Solid State Drive，SSD）凭借其高带宽、低延迟和高可靠性的特点，逐渐成为主流存储设备。其中，NVMe（Non-Volatile Memory Express）协议针对闪存存储特性进行了优化设计[3]，通过多队列并行访问机制和高效的命令处理方式，大幅提升了存储系统的I/O性能，使SSD的性能能够充分发挥。随着数据中心规模的不断扩大，单节点本地存储已经难以满足大规模数据处理的需求，存储资源逐渐向网络化和集中化方向发展。 NVMe over Fa

NVME-oF IP 设计2 ：设计之前的调研！随着NVMe协议逐渐成为高性能固态存储设备的主流接口标准，基于NVMe SSD的本地存储系统在带宽和延迟方面已能够满足现代数据中心与高性能计算应用的需求。在此基础上，研究重点逐渐从本地存储性能优化转向如何通过高速网络实现远程NVMe设备访问，从而构建高性能网络存储系统。NVMe-over-Fabrics（NVMe-oF）通过在高速网络上传输NVMe命令，使远程NVMe设备能够以接近本地NVMe的性能被访问，因此成为当前高性能网络存储的重要技术路线。

RDMA设计67: RDMA设计总结本系列主要是结合RDMA项目需求展开。通过分析工作在 FPGA 上的基于 RoCE v2 协议的高速数据传输系统，展开其主要功能仿真验证和板级测试，最后在实际应用环境中对性能进行了测试。

RDMA设计63：怎么进行网络嗅探功能测试本博文主要交流设计思路，在本博客已给出相关博文约190篇，希望对初学者有用。注意这里只是抛砖引玉，切莫认为参考这就可以完成商用IP 设计。

RDMA设计64：数据吞吐量性能测试分析本博文主要交流设计思路，在本博客已给出相关博文约190篇，希望对初学者有用。注意这里只是抛砖引玉，切莫认为参考这就可以完成商用IP 设计。

RDMA设计62：RoCE v2 原语及单/双边语义功能测试2本博文主要交流设计思路，在本博客已给出相关博文约190篇，希望对初学者有用。注意这里只是抛砖引玉，切莫认为参考这就可以完成商用IP设计。

RDMA设计53：构建RoCE v2 高速数据传输系统板级测试平台2完成 HDL 工程及 Block Design 设计后，进行综合与实现， RoCE v2 高速数据传输系统的资源占用如表1 所示。从资源占用表中可以看出，基于本IP实现的 RoCE v2高速数据传输系统资源占用率低，更容易被集成到实际应用环境中。

RDMA设计50: 如何验证网络嗅探功能？网络嗅探的主要功能包括 ARP 接收发送及 ICMP 接收发送，RDMA技术允许主机直接访问远程主机的内存，无需CPU介入，因此其流量不经过操作系统内核协议栈。这种设计提升了性能，但也使得嗅探变得复杂：

RDMA设计52:构建RoCE v2 高速数据传输系统板级测试平台前面分享如何进行仿真，下面介绍硬件平台上验证其功能及性能。 RoCE v2 高速数据传输系统基于Xilinx integrated 100G Ethernet Subsystem 进行搭建，其常用版本为 UltraScale+ CMAC集成块，考虑低成本方案，这里使用基于 XCZU47DR FPGA 的开发板进行硬件平台搭建及测试。远程主机端则使用迈洛斯（现英伟达） CX455-A 网卡，其支持 100Gbps IB/ETH 网络数据传输。

RDMA设计37：RoCE v2 子系统模型设计本博文主要交流设计思路，在本博客已给出相关博文160多篇，希望对初学者有用。注意这里只是抛砖引玉，切莫认为参考这就可以完成商用IP设计。

RDMA设计33：RoCE v2 接收模块本博文主要交流设计思路，在本博客已给出相关博文约160篇，希望对初学者有用。注意这里只是抛砖引玉，切莫认为参考这就可以完成商用IP设计。

RDMA设计31：RoCE v2 发送模块3本博文主要交流设计思路，在本博客已给出相关博文约150篇，希望对初学者有用。注意这里只是抛砖引玉，切莫认为参考这就可以完成商用IP设计。

RDMA设计13：融合以太网协议栈设计2本文主要交流设计思路，在本博客已给出相关博文一百多篇，希望对初学者有用。注意这里只是抛砖引玉，切莫认为参考这就可以完成商用IP设计。若有NVME或RDMA 产品及项目需求，请看B站视频后联系。