NVME-oF IP 设计15 : 适于高速网络存储系统的IP设计1

目前,短时高速传输需求呈爆发式发展,这类数据具有瞬时带宽高、数据量集中、写入时延敏感等典型特征。

相关技术要求如下:

1)在数据写入性能方面,数据吞吐可达到数十Gbps量级,若存储系统无法提供足够的持续写入带宽,将直接导致缓存溢出或数据丢失。因此,存储系统必须具备高吞吐、低抖动、可持续写入能力,能够在短时间内吸收大量突发数据流。目前大部分设备在连续读写下传输带宽需要满足大于40 Gbps要求。

2)在容量与扩展性方面,由于数据体量巨大,单次任务可能产生数百GB至数TB级数据。系统需支持多块固态存储设备协同工作,并能够横向扩展容量与带宽,以满足长期运行与多任务并发的需求。同时,系统结构应具备良好的可扩展性,支持多数据源并发接入。因此单个设备的存储大小应不小于1 TB,且有一定的扩展能力。

3)在时延与实时性方面,部分应用场景需要在数据采集完成后快速完成数据预处理或转发,因此要求存储系统在保证高带宽的同时具备低访问延迟和稳定的响应时间,避免长尾时延影响后续处理流程,单个设备在4 KB随机读写下,平均响应时间小于100 us。

4)在系统架构方面,为了适应分布式采集与远程访问需求,存储系统需支持网络化部署,使计算节点能够通过高速网络协议直接访问远端存储资源。因此,系统不仅需要具备本地高性能特性,还需实现网络侧的低开销协议转换与远程直连访问能力。

综合上述系统需求,在数据传输方面,系统需要支持不低于40 Gbps的持续数据吞吐能力,因此在物理链路层采用QSFP28高速光纤接口实现高速互连。在传输协议层,为减少协议栈处理开销并降低数据传输时延,系统采用RDMA技术作为传输机制,通过零拷贝和内核旁路等机制实现高效的数据传输。在存储介质方面,为满足大容量与高并行访问需求,系统选用基于NVMe协议的固态存储设备,该类设备能够提供高带宽和高随机访问性能,并支持通过RAID等方式实现容量与带宽的横向扩展。在系统架构方面,为实现远程节点对存储资源的高效访问,系统采用NVMe-oF协议对NVMe存储进行网络化扩展,使计算节点能够通过高速网络直接访问远端存储资源,同时保持接近本地NVMe设备的访问性能。

B站已给出之前的相关性能演示视频,如想进一步了解,请搜索B站用户:专注与守望

https://www.bilibili.com/video/BV1f6mbBeEiH/?spm_id_from=333.337.search-card.all.click\&vd_source=c355545d27a44fe96188b7caefeda6e7

https://www.bilibili.com/video/BV1og3e6XEHR/?spm_id_from=333.337.search-card.all.click\&vd_source=c355545d27a44fe96188b7caefeda6e7

相关推荐
myy-learn2 小时前
30-HTTP协议
网络·网络协议·http
开开心心就好3 小时前
免费刷题软件推荐,支持导入题库自动判题
网络·网络协议·tcp/ip·jupyter·智能手机·电脑·idea
幼儿园蛋小黄5 小时前
基于 TCP 的嵌入式网络通信学习总结
网络协议·学习·tcp/ip
木井巳6 小时前
【网络原理】TCP/IP 协议栈
网络·网络协议·tcp/ip·udp
++==6 小时前
RPC:grpc的使用与安装、server和client的使用示例、lsb_relese、自定制协议(LVC)+protobuf的RPC调用框架的实现
网络·网络协议·rpc
青瓦梦滋7 小时前
NAT技术
linux·服务器·网络·网络协议·tcp/ip
G佳伟8 小时前
宝塔面板打不开且 Bt-Panel 未运行:从 HTTP 502 到 gevent 缺失的完整排查与修复
网络协议·http·php
keyipatience8 小时前
IP网络层
服务器·网络·网络协议·ubuntu·http
白狐_7988 小时前
408 计算机网络|HTTP 的 RTT 怎么数:用多道题讲清楚
网络协议·计算机网络·http
Discipline~Hai8 小时前
Linux网络编程03-HTTP协议
linux·运维·服务器·网络·网络协议·http·linux网络编程