全国产化方案实现NVMe over 100G RDMA,解决智算超算中“存算”不匹配问题

目录

  • [1、NVMe-OF 简介](#1、NVMe-OF 简介)
  • 2、NVMe-OF分类比较
  • [3、基于FPGA实现的NVMe over 100G RDMA](#3、基于FPGA实现的NVMe over 100G RDMA)
    • FPGA
    • [100G RDMA(RoCEv2)](#100G RDMA(RoCEv2))
    • [NVMe 控制器](#NVMe 控制器)
    • [PCIE Root Point](#PCIE Root Point)
  • [4、FPGA的NVMe over 100G RDMA单卡应用](#4、FPGA的NVMe over 100G RDMA单卡应用)
  • [5、NVMe over 100G RDMA机箱产品应用](#5、NVMe over 100G RDMA机箱产品应用)
  • 6、方案获取

全国产FPGA方案实现NVMe over 100G RDMA,解决超算中心"存算"不匹配问题

1、NVMe-OF 简介

NVMe-OF(NVMe over Fabrics):

一种基于 NVMe协议的扩展技术,其核心是将 NVMe 协议从本地 PCIe 总线扩展到各种网络架构上,实现远程非易失性存储设备(如 NVMe SSD)的高效访问。关于NVMe-OF的详细科普,请参考下面的博客:
点击直接前往

NVMe-OF(NVMe over Fabrics)架构如下:

NVMe-OF 核心目标

打破 NVMe 协议仅能在本地 PCIe 总线上使用的限制,让主机可以通过网络远程访问 NVMe 设备,同时保留 NVMe 的低延迟、高吞吐量特性,满足分布式存储、云计算等场景对高性能远程存储的需求。

2、NVMe-OF分类比较

目前主流的NVMe-OF分类如下:

由上可知:NVMe over 100G RDMA(RoCEv2)方案具有碾压级优势。

3、基于FPGA实现的NVMe over 100G RDMA

基于FPGA实现的NVMe over 100G RDMA设计架构如下:

FPGA

FPGA是整个系统的核心,目前本博主已有的方案丰富多彩,既有全国产化FPGA方案,又有Xilinx系列FPGA方案,还有Altera 系列FPGA方案,满足不同行业和场景需求;全国产化FPGA方案用于特殊行业,Xilinx系列FPGA方案用于科研,Altera 系列FPGA方案用于低成本商用平台,具体如下:

100G RDMA(RoCEv2)

100G RDMA(RoCEv2)实现整个架构中的以太网功能;针对不同FPGA,我们有不同的设计方案,具体如下:

100G RDMA(RoCEv2)性能参数如下:

支持RoCE v2

支持硬件错误重传

支持100 Gb/s线速率

支持可靠连接(RC)RDMA传输服务类型

QP1支持发送和接收MAD数据包

用户硬件握手模式,以支持硬件RDMA应用程序

支持传入和传出RDMA SEND、RDMA READ、RDMA WRITE、RDMA SEN

使用IMM,RDMA使用IMM写入,RDMA发送无效消息类型。

最大支持扩展到2048个RDMA队列对

支持IPv4和IPv6数据包

支持拥塞通知(ECN)

支持RoCE和非RoCE流量的不同优先级和优先级流控

支持内存注册和保护域

100G RDMA(RoCEv2)设计架构如下:

NVMe 控制器

NVMe 控制器实现整个架构中的存储功能;针对不同FPGA,我们有不同的设计方案,具体如下:

PCIE Root Point

PCIE Root Point在整个架构中实现SSD硬盘和FPGA的桥接功能;针对不同FPGA,我们有不同的设计方案,具体如下:

4、FPGA的NVMe over 100G RDMA单卡应用

基于FPGA实现的NVMe over 100G RDMA目前只有单卡产品,即将QSFP28光口和U.2硬盘接口直接做到一张加速卡上,形成单卡产品,以我们的测试验证开发板为例,接口如下:

!!!注意:

上面的开发板仅为我们内部测试使用,成品板卡不是这样的。

FPGA的NVMe over 100G RDMA单卡产品可用于特殊行业,且对数据读延时有极致追求,单卡轻便小巧,插卡式灵活方便,且价格相对较低。

5、NVMe over 100G RDMA机箱产品应用

除了上面的FPGA的NVMe over 100G RDMA单卡外,我们还提供NVMe over 100G RDMA机箱产品,该产品使用ASIC方案实现,NVMe over 100G RDMA机箱产品可解决目前行业痛点,具体如下:
1、AI数据中心

用户需求点:由于"存力"与"算力"存在百倍性能鸿沟,GPU超过一半时间都在"空等"数据,使用NVME over RDMA方案可将GPU利用率从50%提升至85%以上。
2、金融证券系统

用户需求点:追求极致的延迟,10微秒以下为目标,纳秒级别为理想
3、医疗与生命科学

用户需求点:加速大规模文件访问
4、虚拟化与云计算

用户需求点:提升密集型负载性能

NVMe over 100G RDMA机箱产品具有单击吞吐率大、存取延时低、整机功耗低、存盘位数多、全国产化等特点,目前已在金融系统、智算中心、医疗、高性能存储、集群服务器、智慧工厂等领域有成熟部署应用,整机如下:

6、方案获取

基于FPGA方案实现的单卡加速卡和整机产品,均可获取设计方案;

资料方式:文章末尾的V名片。

相关推荐
碎碎思2 小时前
FPGA新闻速览-从漏洞到突破:FPGA技术在安全、架构与量子领域
安全·fpga开发
FPGA_ADDA2 小时前
100%全国产化4路125M FMC子卡
fpga开发·fmc子卡·全国产·4路ad采集·国产ad9653
国科安芯6 小时前
抗辐照MCU芯片在激光雷达领域的适配性分析
网络·人工智能·单片机·嵌入式硬件·fpga开发
数字IC吗喽8 小时前
三、ILA逻辑分析仪抓取及查看波形
fpga开发
bnsarocket10 小时前
Verilog和FPGA的自学笔记8——按键消抖与模块化设计
笔记·fpga开发·verilog·自学·硬件编程
奋斗的牛马13 小时前
FPGA—ZYNQ学习GPIO-EMIO,MIO,AXIGPIO(五)
单片机·嵌入式硬件·学习·fpga开发·信息与通信
FPGA_ADDA15 小时前
基于VU13P的6U VPX 载板
fpga开发·信号处理·xcvu13p
KOAN凯擎小妹1 天前
晶振信号质量:上升下降时间与占空比
单片机·嵌入式硬件·fpga开发·信息与通信
cmc10281 天前
148.PCIE参考时钟无法绑定
fpga开发