全国产化方案实现NVMe over 100G RDMA,解决智算超算中“存算”不匹配问题

目录

  • [1、NVMe-OF 简介](#1、NVMe-OF 简介)
  • 2、NVMe-OF分类比较
  • [3、基于FPGA实现的NVMe over 100G RDMA](#3、基于FPGA实现的NVMe over 100G RDMA)
    • FPGA
    • [100G RDMA(RoCEv2)](#100G RDMA(RoCEv2))
    • [NVMe 控制器](#NVMe 控制器)
    • [PCIE Root Point](#PCIE Root Point)
  • [4、FPGA的NVMe over 100G RDMA单卡应用](#4、FPGA的NVMe over 100G RDMA单卡应用)
  • [5、NVMe over 100G RDMA机箱产品应用](#5、NVMe over 100G RDMA机箱产品应用)
  • 6、方案获取

全国产FPGA方案实现NVMe over 100G RDMA,解决超算中心"存算"不匹配问题

1、NVMe-OF 简介

NVMe-OF(NVMe over Fabrics):

一种基于 NVMe协议的扩展技术,其核心是将 NVMe 协议从本地 PCIe 总线扩展到各种网络架构上,实现远程非易失性存储设备(如 NVMe SSD)的高效访问。关于NVMe-OF的详细科普,请参考下面的博客:
点击直接前往

NVMe-OF(NVMe over Fabrics)架构如下:

NVMe-OF 核心目标

打破 NVMe 协议仅能在本地 PCIe 总线上使用的限制,让主机可以通过网络远程访问 NVMe 设备,同时保留 NVMe 的低延迟、高吞吐量特性,满足分布式存储、云计算等场景对高性能远程存储的需求。

2、NVMe-OF分类比较

目前主流的NVMe-OF分类如下:

由上可知:NVMe over 100G RDMA(RoCEv2)方案具有碾压级优势。

3、基于FPGA实现的NVMe over 100G RDMA

基于FPGA实现的NVMe over 100G RDMA设计架构如下:

FPGA

FPGA是整个系统的核心,目前本博主已有的方案丰富多彩,既有全国产化FPGA方案,又有Xilinx系列FPGA方案,还有Altera 系列FPGA方案,满足不同行业和场景需求;全国产化FPGA方案用于特殊行业,Xilinx系列FPGA方案用于科研,Altera 系列FPGA方案用于低成本商用平台,具体如下:

100G RDMA(RoCEv2)

100G RDMA(RoCEv2)实现整个架构中的以太网功能;针对不同FPGA,我们有不同的设计方案,具体如下:

100G RDMA(RoCEv2)性能参数如下:

支持RoCE v2

支持硬件错误重传

支持100 Gb/s线速率

支持可靠连接(RC)RDMA传输服务类型

QP1支持发送和接收MAD数据包

用户硬件握手模式,以支持硬件RDMA应用程序

支持传入和传出RDMA SEND、RDMA READ、RDMA WRITE、RDMA SEN

使用IMM,RDMA使用IMM写入,RDMA发送无效消息类型。

最大支持扩展到2048个RDMA队列对

支持IPv4和IPv6数据包

支持拥塞通知(ECN)

支持RoCE和非RoCE流量的不同优先级和优先级流控

支持内存注册和保护域

100G RDMA(RoCEv2)设计架构如下:

NVMe 控制器

NVMe 控制器实现整个架构中的存储功能;针对不同FPGA,我们有不同的设计方案,具体如下:

PCIE Root Point

PCIE Root Point在整个架构中实现SSD硬盘和FPGA的桥接功能;针对不同FPGA,我们有不同的设计方案,具体如下:

4、FPGA的NVMe over 100G RDMA单卡应用

基于FPGA实现的NVMe over 100G RDMA目前只有单卡产品,即将QSFP28光口和U.2硬盘接口直接做到一张加速卡上,形成单卡产品,以我们的测试验证开发板为例,接口如下:

!!!注意:

上面的开发板仅为我们内部测试使用,成品板卡不是这样的。

FPGA的NVMe over 100G RDMA单卡产品可用于特殊行业,且对数据读延时有极致追求,单卡轻便小巧,插卡式灵活方便,且价格相对较低。

5、NVMe over 100G RDMA机箱产品应用

除了上面的FPGA的NVMe over 100G RDMA单卡外,我们还提供NVMe over 100G RDMA机箱产品,该产品使用ASIC方案实现,NVMe over 100G RDMA机箱产品可解决目前行业痛点,具体如下:
1、AI数据中心

用户需求点:由于"存力"与"算力"存在百倍性能鸿沟,GPU超过一半时间都在"空等"数据,使用NVME over RDMA方案可将GPU利用率从50%提升至85%以上。
2、金融证券系统

用户需求点:追求极致的延迟,10微秒以下为目标,纳秒级别为理想
3、医疗与生命科学

用户需求点:加速大规模文件访问
4、虚拟化与云计算

用户需求点:提升密集型负载性能

NVMe over 100G RDMA机箱产品具有单击吞吐率大、存取延时低、整机功耗低、存盘位数多、全国产化等特点,目前已在金融系统、智算中心、医疗、高性能存储、集群服务器、智慧工厂等领域有成熟部署应用,整机如下:

6、方案获取

基于FPGA方案实现的单卡加速卡和整机产品,均可获取设计方案;

资料方式:文章末尾的V名片。

相关推荐
s090713611 小时前
FPGA中CIC设计注意事项
算法·fpga开发·cic滤波器
Aaron158812 小时前
RFSOC+VU13P在无线信道模拟中的技术应用分析
数据结构·人工智能·算法·fpga开发·硬件架构·硬件工程·射频工程
碎碎思12 小时前
BerkeleyLab Bedrock:为 FPGA 与加速计算打造的开源基石
fpga开发·开源
zidan141212 小时前
xilinx常用文档说明
fpga开发
ShiMetaPi12 小时前
GM-3568JHF丨ARM+FPGA异构开发板系列教程:外设教程 04 WIFI
网络·arm开发·fpga开发·智能路由器·fpga
FPGA_小田老师13 小时前
FPGA基础知识(二十):Xilinx Block Memory IP核(5)--ROM 详解
fpga开发·rom·coe文件格式·导入coe·block memory
FPGA_无线通信13 小时前
压缩解压缩算法 BFP-8bit
fpga开发
红糖果仁沙琪玛14 小时前
AD7616驱动开发-FPGA
驱动开发·fpga开发
坏孩子的诺亚方舟14 小时前
FPGA系统架构设计实践13_FPGA系统功能安全
fpga开发·系统架构·功能安全概念
ALINX技术博客15 小时前
【新品解读】5G/6G 基带系统级验证,AXVU13G 如何缩短高速系统研发周期
5g·fpga开发·fpga