全国产化方案实现NVMe over 100G RDMA,解决智算超算中“存算”不匹配问题

目录

  • [1、NVMe-OF 简介](#1、NVMe-OF 简介)
  • 2、NVMe-OF分类比较
  • [3、基于FPGA实现的NVMe over 100G RDMA](#3、基于FPGA实现的NVMe over 100G RDMA)
    • FPGA
    • [100G RDMA(RoCEv2)](#100G RDMA(RoCEv2))
    • [NVMe 控制器](#NVMe 控制器)
    • [PCIE Root Point](#PCIE Root Point)
  • [4、FPGA的NVMe over 100G RDMA单卡应用](#4、FPGA的NVMe over 100G RDMA单卡应用)
  • [5、NVMe over 100G RDMA机箱产品应用](#5、NVMe over 100G RDMA机箱产品应用)
  • 6、方案获取

全国产FPGA方案实现NVMe over 100G RDMA,解决超算中心"存算"不匹配问题

1、NVMe-OF 简介

NVMe-OF(NVMe over Fabrics):

一种基于 NVMe协议的扩展技术,其核心是将 NVMe 协议从本地 PCIe 总线扩展到各种网络架构上,实现远程非易失性存储设备(如 NVMe SSD)的高效访问。关于NVMe-OF的详细科普,请参考下面的博客:
点击直接前往

NVMe-OF(NVMe over Fabrics)架构如下:

NVMe-OF 核心目标

打破 NVMe 协议仅能在本地 PCIe 总线上使用的限制,让主机可以通过网络远程访问 NVMe 设备,同时保留 NVMe 的低延迟、高吞吐量特性,满足分布式存储、云计算等场景对高性能远程存储的需求。

2、NVMe-OF分类比较

目前主流的NVMe-OF分类如下:

由上可知:NVMe over 100G RDMA(RoCEv2)方案具有碾压级优势。

3、基于FPGA实现的NVMe over 100G RDMA

基于FPGA实现的NVMe over 100G RDMA设计架构如下:

FPGA

FPGA是整个系统的核心,目前本博主已有的方案丰富多彩,既有全国产化FPGA方案,又有Xilinx系列FPGA方案,还有Altera 系列FPGA方案,满足不同行业和场景需求;全国产化FPGA方案用于特殊行业,Xilinx系列FPGA方案用于科研,Altera 系列FPGA方案用于低成本商用平台,具体如下:

100G RDMA(RoCEv2)

100G RDMA(RoCEv2)实现整个架构中的以太网功能;针对不同FPGA,我们有不同的设计方案,具体如下:

100G RDMA(RoCEv2)性能参数如下:

支持RoCE v2

支持硬件错误重传

支持100 Gb/s线速率

支持可靠连接(RC)RDMA传输服务类型

QP1支持发送和接收MAD数据包

用户硬件握手模式,以支持硬件RDMA应用程序

支持传入和传出RDMA SEND、RDMA READ、RDMA WRITE、RDMA SEN

使用IMM,RDMA使用IMM写入,RDMA发送无效消息类型。

最大支持扩展到2048个RDMA队列对

支持IPv4和IPv6数据包

支持拥塞通知(ECN)

支持RoCE和非RoCE流量的不同优先级和优先级流控

支持内存注册和保护域

100G RDMA(RoCEv2)设计架构如下:

NVMe 控制器

NVMe 控制器实现整个架构中的存储功能;针对不同FPGA,我们有不同的设计方案,具体如下:

PCIE Root Point

PCIE Root Point在整个架构中实现SSD硬盘和FPGA的桥接功能;针对不同FPGA,我们有不同的设计方案,具体如下:

4、FPGA的NVMe over 100G RDMA单卡应用

基于FPGA实现的NVMe over 100G RDMA目前只有单卡产品,即将QSFP28光口和U.2硬盘接口直接做到一张加速卡上,形成单卡产品,以我们的测试验证开发板为例,接口如下:

!!!注意:

上面的开发板仅为我们内部测试使用,成品板卡不是这样的。

FPGA的NVMe over 100G RDMA单卡产品可用于特殊行业,且对数据读延时有极致追求,单卡轻便小巧,插卡式灵活方便,且价格相对较低。

5、NVMe over 100G RDMA机箱产品应用

除了上面的FPGA的NVMe over 100G RDMA单卡外,我们还提供NVMe over 100G RDMA机箱产品,该产品使用ASIC方案实现,NVMe over 100G RDMA机箱产品可解决目前行业痛点,具体如下:
1、AI数据中心

用户需求点:由于"存力"与"算力"存在百倍性能鸿沟,GPU超过一半时间都在"空等"数据,使用NVME over RDMA方案可将GPU利用率从50%提升至85%以上。
2、金融证券系统

用户需求点:追求极致的延迟,10微秒以下为目标,纳秒级别为理想
3、医疗与生命科学

用户需求点:加速大规模文件访问
4、虚拟化与云计算

用户需求点:提升密集型负载性能

NVMe over 100G RDMA机箱产品具有单击吞吐率大、存取延时低、整机功耗低、存盘位数多、全国产化等特点,目前已在金融系统、智算中心、医疗、高性能存储、集群服务器、智慧工厂等领域有成熟部署应用,整机如下:

6、方案获取

基于FPGA方案实现的单卡加速卡和整机产品,均可获取设计方案;

资料方式:文章末尾的V名片。

相关推荐
仲南音17 小时前
Xilinx FPGA——时钟IP核MMCM、PLL
fpga开发
I'm a winner1 天前
基于Xilinx FPGA的LVDS高速串行通信系统(三)--数据训练及握手机制【文末源码】
fpga开发
upper20201 天前
coremark移植坑之-nostartfiles -nostdlib参数
学习·fpga开发·coremark移植·riscv设计
Eloudy2 天前
Vivado 纯命令行构建 FPGA 项目教程
fpga开发
Rambo.xia2 天前
AXI跨时钟域与数据一致性——CDC FIFO深度不够、写后读冒险、多Master仲裁、乱序返回,出了Bug根本查不出来
fpga开发·bug
upper20202 天前
FPGA部署卷积神经网络识别MINST图片
fpga开发·卷积神经网络·minst·minst识别·部署神经网络·神经网络识别图片
你是我的解忧王子2 天前
嵌入式 ADC采样 原始数据分析上层(平均值 波动率 正态分布 线性补偿 系统误差)
fpga开发·数据挖掘·数据分析
tiantianuser3 天前
NVME-oF IP 设计7 :设计扫盲5
网络协议·rdma·roce v2·nvme of
9527华安3 天前
FPGA纯verilog代码ISP图像处理培训教程,基于IMX214,提供工程源码+视频教程+FPGA开发板
图像处理·fpga开发·isp·imx214·mipi
千寻xun3 天前
二、实战篇-NVME SSD控制之ZYNQ实现(六)-读写NVME SSD硬盘数据
fpga开发·nvme·nvme ssd