存储的基本架构

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

一、存储的需求背景

1、人的身份信息需要存储

这种信息可以用关系型数据库,例如mysql,那种表格类型关系型都可以用mysql

2、图片存储

fastdfs等等架构可以去实现

3、博客文档存储

4、视频存储

5、AIGC问答类的存储

还有我们的其他数据

综上,存储是计算机领域的一个很大的主题

其中比较重要的层级体系包括:spdk,ceph,Rocksdb,NVMe,EXT4,Tidb

二、自下而上存储架构

1、介质层

2、接口协议层

3、驱动层

相当于对硬件做了一部分抽象

4、文件系统

5、系统调用层

vfs协议,有关读写操作都在这一层级

6、应用层

fastdfs,ceph,samba、mysql,rockdb,tidb

那么我们的spdk是属于哪一层呢,它的作用在于跨内核,跨内存拷贝做的一个桥梁。文件系统可以直接在spdk里边去实现,所以不用跨态去搞传输。

还有就是关于fuse这一层,这一层呢,在执行读写操作的时候可用于对文件的加水印等操作。尤其是在下载某个文件的时候会直接给你打上专属的水印,这个玩意可用于防盗的操作。

以服务器为例,服务器运行的时候会去记录日志,为了能够记录发生的问题,会存储到集中式的存储里边去。这个日志的存储,先要落盘,再通过fuse,fuse去跟踪监测这个对应的日志文件是否有修改,再把这个文件同步到集中式的文件系统上边去。这样就能构建出一个分布式文件系统。

关于数据中心的同步,在两端服务器中间会有一个层叫做rdma,rdma是cpu参与的网络远程一种协议。

关于介质层与上层之间会有一种有线的协议去交互,比如说

总结

关于存储,一直是计算机领域的庞大体系,需要持续的学习。

相关推荐
minji...8 分钟前
MySQL数据库 (五) MySQL表的约束(上),非空约束,默认值约束,零填充约束,主键约束,符合主键
数据库·mysql·表的约束·主键约束·非空约束·复合主键·零填充约束
神奇小汤圆14 分钟前
两种方式,彻底解决 Codex 令人恼火的问题
后端
用户342323237631723 分钟前
工业数据采集安全——当 OT 遇见 IT,谁对谁错?
后端
拾贰_C25 分钟前
【python | installation 】python 安装 | Windows | 命令使用
linux·数据库·ubuntu
IpdataCloud26 分钟前
遭遇DDoS攻击后如何快速分析攻击源?用IP离线库+威胁情报定位异常IP
网络·tcp/ip·游戏·智能路由器·ddos
zhangjw3429 分钟前
第18篇:Java网络编程零基础详解,IP、端口、TCP、UDP、Socket通信、实战文件传输
java·网络·tcp/ip
贺今宵36 分钟前
Vue 3 + Capacitor 使用jeep-sqlite,web端使用本地sqlite数据库
前端·数据库·vue.js·sqlite·web
楼田莉子38 分钟前
C++20新特性:协程
开发语言·c++·后端·学习·c++20
列星随旋41 分钟前
MySQL面经整理
数据库·mysql
AllData公司负责人41 分钟前
大模型赋能AllData数据中台,系列升级|通过联合智谱大模型与Chat2DB开源项目,建设Text2SQL生产场景全新体验的数据源平台!
数据库·人工智能·text2sql·数据中台·数据源·chat2db·智谱大模型