六、互联网技术——数据存储

文章目录

一、存储系统层次结构

常见的三层存储体系结构如下图所示,分为高速缓冲存储器、主存储器和外存储器。

二、按照重要性分类

按照数据价值对数据进行分类

三、磁盘阵列RAID

  1. RAID的基本思想包括两方面内容:利用数据条带化提高性能和利用数据冗余提高可靠性。
  2. RAID系统主要由RAID控制器磁盘控制器磁盘 组成

三、RAID基础

  1. 磁盘阵列的数据组织以分区、分块和分条为基础
  2. RAID技术可以通过以下三种方式实现。【口诀:软硬合】
  • 硬件raid
  • 软件raid
  • 软硬结合

四、磁盘阵列分级

分级 内容
RAID0 称为条带化(Striping)存储,将数据分段存储于各个磁盘中,读写均可以并行处理。因此其读写速率为单个磁盘的N倍(N为组成RAIDO的磁盘个数),但是却没有数据几余(数据余能力最弱),单个磁盘的损坏会导致数据的不可修复。
RAID1 称为镜像 (Mirroring),它将数据完全一致地分别写到工作磁盘和镜像磁盘,它的磁盘空间利用率为50%(磁盘空间利用率最低)。RAID1提供了最佳的数据保护,一旦工作磁盘发生故障,系统自动从镜像磁盘读取数据不会影响用户工作。
RAID2 称为纠错海明码磁盘阵列,RAIDO的改良版,加入了海明码 (Hamming Code) 错误校验,其设计思想是利用海明码实现数据校验冗余。但是,海明码的数据冗余开销太大。
RAID3 使用专用校验盘的并行访问阵列,它采用一个专用的磁盘作为校验盘,其余磁盘作为数据盘,数据按位和字节的方式交叉存储到各个数据盘中。RAID3至少需要3块磁盘,
RAID4 按照块的方式来组织数据,写操作只涉及当前数据盘和校验盘两个盘,多个I/O请求可以同时得到处理,提高了系统性能。
RAID5 (1)目前最常见的RAID等级。(2)目前综合性能最佳的数据保护解决方案(3)RAID5的磁盘空间利用率要比RAID1高
混合RAID (1) RAID 0+1(2)RAID 1+0.(3)二者在读写性能上没有什么差别。但是安全性上RAID1+0要好于RAIDO+1。
RAID级别 RAID0 RAID1 RAID5 RAID6 RAID10
可靠性 最低 较高 最高
冗余类型 镜像冗余 校验冗余 校验冗余 镜像冗余
空间利用率 100% 50% (N-1)/N (N-2)/N 50%
性能 最高 最低 较高 较高 较高
允许坏盘数量 0 N/2 1 2 N/2

五、数据备份与恢复

六、容灾与灾难恢复

  1. 容灾的分类:[口诀:业务应用数据]
  • 数据级容灾
  • 应用级容灾
  • 业务级容灾
  1. 容灾的关键技术:如SAN或NAS技术、远程镜像技术、基于IP的SAN的互连技术、快照技术等
  2. 衡量容灾备份的两个技术指标
  • 数据恢复点目标 (Recovery Point Objective,RPO) 。主要指业务系统所能容忍的数据丢失量。
  • 恢复时间目标 (Recovery Time Objective,RTO) 。主要指所能容忍的业务停止服务的最长时间
相关推荐
激昂网络16 分钟前
android kernel代码 common-android13-5.15 下载 编译
android·大数据·elasticsearch
绝缘体136 分钟前
折扣大牌点餐api接口对接适合本地生活吗?
大数据·网络·搜索引擎·pygame
君不见,青丝成雪1 小时前
浅看架构理论(二)
大数据·架构
武子康1 小时前
大数据-74 Kafka 核心机制揭秘:副本同步、控制器选举与可靠性保障
大数据·后端·kafka
IT毕设梦工厂4 小时前
大数据毕业设计选题推荐-基于大数据的1688商品类目关系分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·毕业设计·源码·数据可视化·bigdata·选题推荐
君不见,青丝成雪4 小时前
Hadoop技术栈(四)HIVE常用函数汇总
大数据·数据库·数据仓库·hive·sql
万邦科技Lafite4 小时前
利用淘宝开放API接口监控商品状态,掌握第一信息
大数据·python·电商开放平台·开放api接口·淘宝开放平台
更深兼春远9 小时前
flink+clinkhouse安装部署
大数据·clickhouse·flink
专注API从业者12 小时前
Python + 淘宝 API 开发:自动化采集商品数据的完整流程
大数据·运维·前端·数据挖掘·自动化
媒体人88814 小时前
GEO 优化专家孟庆涛:技术破壁者重构 AI 时代搜索逻辑
大数据·人工智能