NVME-oF IP 设计15 : 适于高速网络存储系统的IP设计1

目前,短时高速传输需求呈爆发式发展,这类数据具有瞬时带宽高、数据量集中、写入时延敏感等典型特征。

相关技术要求如下:

1)在数据写入性能方面,数据吞吐可达到数十Gbps量级,若存储系统无法提供足够的持续写入带宽,将直接导致缓存溢出或数据丢失。因此,存储系统必须具备高吞吐、低抖动、可持续写入能力,能够在短时间内吸收大量突发数据流。目前大部分设备在连续读写下传输带宽需要满足大于40 Gbps要求。

2)在容量与扩展性方面,由于数据体量巨大,单次任务可能产生数百GB至数TB级数据。系统需支持多块固态存储设备协同工作,并能够横向扩展容量与带宽,以满足长期运行与多任务并发的需求。同时,系统结构应具备良好的可扩展性,支持多数据源并发接入。因此单个设备的存储大小应不小于1 TB,且有一定的扩展能力。

3)在时延与实时性方面,部分应用场景需要在数据采集完成后快速完成数据预处理或转发,因此要求存储系统在保证高带宽的同时具备低访问延迟和稳定的响应时间,避免长尾时延影响后续处理流程,单个设备在4 KB随机读写下,平均响应时间小于100 us。

4)在系统架构方面,为了适应分布式采集与远程访问需求,存储系统需支持网络化部署,使计算节点能够通过高速网络协议直接访问远端存储资源。因此,系统不仅需要具备本地高性能特性,还需实现网络侧的低开销协议转换与远程直连访问能力。

综合上述系统需求,在数据传输方面,系统需要支持不低于40 Gbps的持续数据吞吐能力,因此在物理链路层采用QSFP28高速光纤接口实现高速互连。在传输协议层,为减少协议栈处理开销并降低数据传输时延,系统采用RDMA技术作为传输机制,通过零拷贝和内核旁路等机制实现高效的数据传输。在存储介质方面,为满足大容量与高并行访问需求,系统选用基于NVMe协议的固态存储设备,该类设备能够提供高带宽和高随机访问性能,并支持通过RAID等方式实现容量与带宽的横向扩展。在系统架构方面,为实现远程节点对存储资源的高效访问,系统采用NVMe-oF协议对NVMe存储进行网络化扩展,使计算节点能够通过高速网络直接访问远端存储资源,同时保持接近本地NVMe设备的访问性能。

B站已给出之前的相关性能演示视频,如想进一步了解,请搜索B站用户:专注与守望

https://www.bilibili.com/video/BV1f6mbBeEiH/?spm_id_from=333.337.search-card.all.click\&vd_source=c355545d27a44fe96188b7caefeda6e7

https://www.bilibili.com/video/BV1og3e6XEHR/?spm_id_from=333.337.search-card.all.click\&vd_source=c355545d27a44fe96188b7caefeda6e7

相关推荐
徐同保9 小时前
免费ssl证书全流程AI配置(含七牛云cdn)
网络·网络协议·ssl
幻智星科技12 小时前
一个开源的纯FPGA网口采集卡
网络协议·fpga开发·udp
anew___17 小时前
《从零手写操作系统 (48):网络协议栈基础——Socket API与TCP/IP分层架构》
网络协议·tcp/ip·架构
TMT星球17 小时前
2026阅文创作大会:首批AI精品动画亮相,推出OPC一站式平台与IP委员会模式
人工智能·网络协议·tcp/ip
程序员夏洛17 小时前
TCP 和 UDP 有什么区别?
网络协议·tcp/ip·udp
跨境数据猎手19 小时前
机房、住宅、原生IP区别在哪,三类代理的说明
网络·网络协议·tcp/ip
尘一不染20 小时前
多模型 API 接入实战(一):从一次 HTTP 请求到可维护的适配层
网络·人工智能·网络协议·http
笑虾21 小时前
RustDesk 支持局域网 IP + 自定义端口直接连接
网络·网络协议·tcp/ip
桑榆4161 天前
板端修改静态IP
网络·网络协议·tcp/ip