NVME-oF IP 设计15 : 适于高速网络存储系统的IP设计1

目前,短时高速传输需求呈爆发式发展,这类数据具有瞬时带宽高、数据量集中、写入时延敏感等典型特征。

相关技术要求如下:

1)在数据写入性能方面,数据吞吐可达到数十Gbps量级,若存储系统无法提供足够的持续写入带宽,将直接导致缓存溢出或数据丢失。因此,存储系统必须具备高吞吐、低抖动、可持续写入能力,能够在短时间内吸收大量突发数据流。目前大部分设备在连续读写下传输带宽需要满足大于40 Gbps要求。

2)在容量与扩展性方面,由于数据体量巨大,单次任务可能产生数百GB至数TB级数据。系统需支持多块固态存储设备协同工作,并能够横向扩展容量与带宽,以满足长期运行与多任务并发的需求。同时,系统结构应具备良好的可扩展性,支持多数据源并发接入。因此单个设备的存储大小应不小于1 TB,且有一定的扩展能力。

3)在时延与实时性方面,部分应用场景需要在数据采集完成后快速完成数据预处理或转发,因此要求存储系统在保证高带宽的同时具备低访问延迟和稳定的响应时间,避免长尾时延影响后续处理流程,单个设备在4 KB随机读写下,平均响应时间小于100 us。

4)在系统架构方面,为了适应分布式采集与远程访问需求,存储系统需支持网络化部署,使计算节点能够通过高速网络协议直接访问远端存储资源。因此,系统不仅需要具备本地高性能特性,还需实现网络侧的低开销协议转换与远程直连访问能力。

综合上述系统需求,在数据传输方面,系统需要支持不低于40 Gbps的持续数据吞吐能力,因此在物理链路层采用QSFP28高速光纤接口实现高速互连。在传输协议层,为减少协议栈处理开销并降低数据传输时延,系统采用RDMA技术作为传输机制,通过零拷贝和内核旁路等机制实现高效的数据传输。在存储介质方面,为满足大容量与高并行访问需求,系统选用基于NVMe协议的固态存储设备,该类设备能够提供高带宽和高随机访问性能,并支持通过RAID等方式实现容量与带宽的横向扩展。在系统架构方面,为实现远程节点对存储资源的高效访问,系统采用NVMe-oF协议对NVMe存储进行网络化扩展,使计算节点能够通过高速网络直接访问远端存储资源,同时保持接近本地NVMe设备的访问性能。

B站已给出之前的相关性能演示视频,如想进一步了解,请搜索B站用户:专注与守望

https://www.bilibili.com/video/BV1f6mbBeEiH/?spm_id_from=333.337.search-card.all.click\&vd_source=c355545d27a44fe96188b7caefeda6e7

https://www.bilibili.com/video/BV1og3e6XEHR/?spm_id_from=333.337.search-card.all.click\&vd_source=c355545d27a44fe96188b7caefeda6e7

相关推荐
华清远见成都中心1 小时前
FreeRTOS事件组(Event Group)的工作机制分析
服务器·网络·网络协议
艺术留白5 小时前
MokaTest使用篇-HTTP接口
网络·网络协议·http
bbq粉刷匠5 小时前
HTTP 深度解析
网络·网络协议·http
tiantianuser5 小时前
NVME-oF IP 设计16 : 适于高速网络存储系统的IP设计2
网络协议·rdma·高速传输·roce v2·nvme of
FPGA小迷弟7 小时前
AXI4-Stream协议详解与Vivado自定义IP核封装实战
网络协议·tcp/ip·fpga开发·fpga·硬件开发
啦啦啦啦啦zzzz1 天前
TCP协议详解
网络·网络协议·tcp/ip
Little Tian1 天前
基于FPGA的UDP回环实验(二)----ARP模块
网络·网络协议·udp
K成长日志1 天前
BLE链路层--比特流处理
网络·物联网·网络协议·蓝牙·iot·ble·无线
zhao3266857512 天前
静态IP代理固定IP与动态IP的根本差异,账号操作安全性如何体现
网络·网络协议·tcp/ip