全国产化方案实现NVMe over 100G RDMA,解决智算超算中“存算”不匹配问题

目录

  • [1、NVMe-OF 简介](#1、NVMe-OF 简介)
  • 2、NVMe-OF分类比较
  • [3、基于FPGA实现的NVMe over 100G RDMA](#3、基于FPGA实现的NVMe over 100G RDMA)
    • FPGA
    • [100G RDMA(RoCEv2)](#100G RDMA(RoCEv2))
    • [NVMe 控制器](#NVMe 控制器)
    • [PCIE Root Point](#PCIE Root Point)
  • [4、FPGA的NVMe over 100G RDMA单卡应用](#4、FPGA的NVMe over 100G RDMA单卡应用)
  • [5、NVMe over 100G RDMA机箱产品应用](#5、NVMe over 100G RDMA机箱产品应用)
  • 6、方案获取

全国产FPGA方案实现NVMe over 100G RDMA,解决超算中心"存算"不匹配问题

1、NVMe-OF 简介

NVMe-OF(NVMe over Fabrics):

一种基于 NVMe协议的扩展技术,其核心是将 NVMe 协议从本地 PCIe 总线扩展到各种网络架构上,实现远程非易失性存储设备(如 NVMe SSD)的高效访问。关于NVMe-OF的详细科普,请参考下面的博客:
点击直接前往

NVMe-OF(NVMe over Fabrics)架构如下:

NVMe-OF 核心目标

打破 NVMe 协议仅能在本地 PCIe 总线上使用的限制,让主机可以通过网络远程访问 NVMe 设备,同时保留 NVMe 的低延迟、高吞吐量特性,满足分布式存储、云计算等场景对高性能远程存储的需求。

2、NVMe-OF分类比较

目前主流的NVMe-OF分类如下:

由上可知:NVMe over 100G RDMA(RoCEv2)方案具有碾压级优势。

3、基于FPGA实现的NVMe over 100G RDMA

基于FPGA实现的NVMe over 100G RDMA设计架构如下:

FPGA

FPGA是整个系统的核心,目前本博主已有的方案丰富多彩,既有全国产化FPGA方案,又有Xilinx系列FPGA方案,还有Altera 系列FPGA方案,满足不同行业和场景需求;全国产化FPGA方案用于特殊行业,Xilinx系列FPGA方案用于科研,Altera 系列FPGA方案用于低成本商用平台,具体如下:

100G RDMA(RoCEv2)

100G RDMA(RoCEv2)实现整个架构中的以太网功能;针对不同FPGA,我们有不同的设计方案,具体如下:

100G RDMA(RoCEv2)性能参数如下:

支持RoCE v2

支持硬件错误重传

支持100 Gb/s线速率

支持可靠连接(RC)RDMA传输服务类型

QP1支持发送和接收MAD数据包

用户硬件握手模式,以支持硬件RDMA应用程序

支持传入和传出RDMA SEND、RDMA READ、RDMA WRITE、RDMA SEN

使用IMM,RDMA使用IMM写入,RDMA发送无效消息类型。

最大支持扩展到2048个RDMA队列对

支持IPv4和IPv6数据包

支持拥塞通知(ECN)

支持RoCE和非RoCE流量的不同优先级和优先级流控

支持内存注册和保护域

100G RDMA(RoCEv2)设计架构如下:

NVMe 控制器

NVMe 控制器实现整个架构中的存储功能;针对不同FPGA,我们有不同的设计方案,具体如下:

PCIE Root Point

PCIE Root Point在整个架构中实现SSD硬盘和FPGA的桥接功能;针对不同FPGA,我们有不同的设计方案,具体如下:

4、FPGA的NVMe over 100G RDMA单卡应用

基于FPGA实现的NVMe over 100G RDMA目前只有单卡产品,即将QSFP28光口和U.2硬盘接口直接做到一张加速卡上,形成单卡产品,以我们的测试验证开发板为例,接口如下:

!!!注意:

上面的开发板仅为我们内部测试使用,成品板卡不是这样的。

FPGA的NVMe over 100G RDMA单卡产品可用于特殊行业,且对数据读延时有极致追求,单卡轻便小巧,插卡式灵活方便,且价格相对较低。

5、NVMe over 100G RDMA机箱产品应用

除了上面的FPGA的NVMe over 100G RDMA单卡外,我们还提供NVMe over 100G RDMA机箱产品,该产品使用ASIC方案实现,NVMe over 100G RDMA机箱产品可解决目前行业痛点,具体如下:
1、AI数据中心

用户需求点:由于"存力"与"算力"存在百倍性能鸿沟,GPU超过一半时间都在"空等"数据,使用NVME over RDMA方案可将GPU利用率从50%提升至85%以上。
2、金融证券系统

用户需求点:追求极致的延迟,10微秒以下为目标,纳秒级别为理想
3、医疗与生命科学

用户需求点:加速大规模文件访问
4、虚拟化与云计算

用户需求点:提升密集型负载性能

NVMe over 100G RDMA机箱产品具有单击吞吐率大、存取延时低、整机功耗低、存盘位数多、全国产化等特点,目前已在金融系统、智算中心、医疗、高性能存储、集群服务器、智慧工厂等领域有成熟部署应用,整机如下:

6、方案获取

基于FPGA方案实现的单卡加速卡和整机产品,均可获取设计方案;

资料方式:文章末尾的V名片。

相关推荐
我爱C编程1 天前
【仿真测试】基于FPGA的完整16QAM通信链路实现,含频偏锁定,帧同步,定时点,Viterbi译码,信道,误码统计
fpga开发·16qam·帧同步·卷积编码·viterbi译码·维特比译码·频偏锁定
s09071362 天前
ZYNQ DMA to UDP 数据传输系统设计文档
网络协议·fpga开发·udp
燎原星火*2 天前
QSPI IP核 基本参数
fpga开发
XINVRY-FPGA2 天前
XCVU9P-2FLGC2104I Xilinx AMD Virtex UltraScale+ FPGA
嵌入式硬件·机器学习·计算机视觉·fpga开发·硬件工程·dsp开发·fpga
FPGA_小田老师2 天前
FPGA Debug:PCIE一直自动重启(link up一直高低切换)
fpga开发·pcie debug·pcie初始化问题
hexiaoyan8272 天前
视频信号检测板卡:208-Base Camera Link 图像信号模拟器
fpga开发·图像信号模拟器·视频信号检测·视频信号分析·智能图像分析
竹君子2 天前
新能源知识库(151) RTDS和RT-LAB比较
fpga开发
brave and determined2 天前
可编程逻辑器件学习(day34):半导体编年史:从法拉第的意外发现到塑造现代文明的硅基浪潮
人工智能·深度学习·fpga开发·verilog·fpga·设计规范·嵌入式设计
FPGA_Linuxer2 天前
RFSOC PCIE 4.0读写测试
fpga开发
坏孩子的诺亚方舟2 天前
FPGA系统架构设计实践8_复位参考设计
fpga开发·系统架构·复位