存储技术基础
前言
数据是用户最重要的资产，在云计算中，数据如何被保存？保存数据的介质有哪些？有哪些数据存储的关键技术？本章将一一为您揭开。
1 存储基础介绍
1.1 什么是存储
存储是指在计算机或其他电子设备上存储和管理数字信息的过程。它既可以包括物理存储设备，如硬盘和固态硬盘，也可以包括虚拟存储系统，如云存储服务。
存储的目标是提供一种可靠和安全的方法来根据需要存储和访问数据。
1.2 存储发展历程
| 年代 | 技术形态 |
|---|---|
| 1950s | 传统存储 |
| 1980s | 外挂存储 |
| 1990s | 存储网络 |
| 本世纪 | 分布式存储、云存储 |
- 从磁盘到磁盘阵列
- 内置本地硬盘：硬盘装在服务器内部，缺点是容量有限、无冗余、性能差，数据分散。
- JBOD ：直连磁盘柜，只是把多块硬盘串联扩容，只扩容量，不做冗余，不提速。
- 磁盘阵列（RAID）：增加独立阵列控制器，支持 RAID，搭配缓存；既可以扩容，又能提升 IO 读写性能，同时提供数据冗余，硬盘坏了数据不丢失。
-
分布式存储：软件将物理资源组织成高性能逻辑存储池，数据分散存放在多台独立设备；横向扩展，多服务器分担存储压力。分为管理网络、前端业务网络、后端存储网络。
传统架构扩展能力和灵活性有限。
分布式存储架构：通用硬件、架构统一、存储和网络不被绑定；性能、容量线性扩展，目前可达数千个节点；资源弹性伸缩，利用率高。
-
存储虚拟化：存储虚拟化可以将存储设备进行抽象，以逻辑资源的方式呈现，统一提供全面的存储服务，可以在不同的存储形态或设备类型之间提供统一的功能。
在物理存储系统和服务器之间增加一个虚拟层，它管理和控制所有存储并对服务器提供存储服务。
存储硬件的增减、调换、分拆、合并对服务器完全透明。
作用：隐藏物理设备复杂度；集成使用现有的功能；摆脱物理容量的局限。
-
云存储：云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，它使用高度虚拟化的多租户基础设施为企业提供可扩展的存储资源，可以根据组织的要求动态配置。
1.3 主流硬盘类型
**定义：**硬盘是计算机最主要的存储设备。硬盘接口决定硬盘与主机之间传输速度，直接影响程序运行和系统性能。
| 参数 | SATA | SAS | NL‑SAS | SSD |
|---|---|---|---|---|
| 主流转速（RPM） | 7,200 | 15,000/10,000 | 7200 | NA |
| 串行 / 并行 | 串行 | 串行 | 串行 | 串行 |
| 主流容量（TB） | 1T/2T/3T | 0.6T/0.9T | 2T/3T/4T | 0.6T‑1.6T |
| MTBF（h） | 1,200,000 | 1,600,000 | 1,200,000 | 2,000,000 |
| 备注 | SATA 由 ATA 发展而来，SATA3.0 速率 600MB/s，年故障率约 2% | 企业级高性能，兼容 SATA 硬盘，速率 3‑12Gb/s，故障率＜2% | 带 SAS 接口的企业级 SATA 盘，用于分级存储，故障率约 2% | 固态硬盘，FLASH/DRAM 芯片，外形接口兼容普通硬盘 |
硬盘关键性能指标
-
硬盘容量、转速（机械盘）、平均访问时间、数据传输率、IOPS（每秒读写次数）
带宽：大文件的传输速度
IOPS：每次输入输出的次数，影响不连续小文件读写
| 硬盘类型 | IOPS（4K 随机写） | 带宽（128K 顺序读） |
|---|---|---|
| SATA | 330 | 200MB/s |
| SAS 10K | 350 | 195MB/s |
| SAS 15K | 450 | 290MB/s |
| SATA SSD | 30~60K | 540MB/s |
| SAS SSD | 155K | 1000MB/s |
| NVMe SSD | 300K | 3500MB/s |
IOPS、带宽数值越高性能越好。
1.4 存储组网类型
DAS（直连附加存储 Direct Attached Storage）
-
年代：70 年代
-
连接：SCSI / SAS / FC，链路速率 3/6/12Gbit/s
-
特点：存储设备直接直连服务器；块访问；支持快照备份。
-
优缺点：优点：部署简单，兼容性好；缺点：扩展性差，存储空间利用率低。
NAS（网络附加存储 Network Attached Storage）
-
年代：90 年代初
-
连接：以太网 IP 网络；协议 NFS（Linux/Unix）、CIFS（Windows）
-
特点：多台前端服务器共享后端存储设备，后端NAS设备上的存储空间通过CIFS（Windows系统）、NFS（类Unix系统）协议共享给前端主机，可同时对同一目录或文件进行并发读写。 文件系统运行在后端存储设备。
-
优缺点：优点：部署简单，成本低；缺点：性能有限，部分应用不适合。
NFS（Network File System）是Sun Microsystems在1984年创建的Internet标准协议。开发NFS是为了允许在局域网上的系统之间共享文件
NFS的工作机制：主要是采用远程过程调用RPC机制
RPC提供了一组与机器、操作系统以及低层传送协议无关的存取远程文件的操作，允许远程客户端以与本地文件系统类似的方式，来通过网络进行访问。
NFS客户端向NFS服务器端发起RPC请求，服务器将请求传递给本地文件访问进程，进而读取服务器主机上的本地磁盘文件，返回给客户端。
CIFS（Common Internet File System）是一种网络文件系统协议，用于在网络上的机器之间提供对文件和打印机的共享访问。现在主要实现在Windows主机之间进行网络文件共享功能。
NAS存储简介：NAS：Network Attached Storage，网络附加存储，是一种将分布、独立的数据进行整合，集中化管理，以便于对不同主机和应用服务器进行访问的技术
SAN（存储区域网络 Storage Area Network）
SAN：Storage Area Networks，存储区域网络，是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统。
分为 FC‑SAN 与 IP‑SAN。
-
FC‑SAN
-
年代：90 年代中后期
-
背景：为解决DAS扩展性差的问题，将存储设备网络化，可以同时连接上百台服务器
-
连接：FC 光纤 + FC 交换机；速率 2/4/8Gbit/s
-
访问方式：后端一台存储空间可以划分多个LUN，供前端服务器使用
-
特点：块级访问；存储划分 LUN 给服务器使用；快照、容灾等高级数据保护功能。
-
优缺点：高性能、高扩展；成本高，配置复杂。
-
-
IP‑SAN（iSCSI）
-
年代：2001 年
-
背景：为解决FC-SAN在价格及管理上的诸多门坎而产生
-
连接：以太网交换机，IP 网络；速率 1/10Gbit/s
-
访问方式：后端一台存储设备的存储空间可以划分为多个LUN，供前端服务器使用
-
特点：块级访问；复用成熟 IP 网络，节省建设成本。
-
优缺点：扩展性好，成本低；性能弱于 FC‑SAN，提供快照、容灾等高级数据保护功能。
ISCSI被看好的原因：
可以采用非常成熟的IP网络管理工具和基础建设
IP网络使用普遍，可为企业节省大笔建设、管理及人事成本
-
组网方案对比总表
| DAS | NAS | FC‑SAN | IP‑SAN | |
|---|---|---|---|---|
| 传输类型 | SCSI、FC、SAS | IP | FC | IP |
| 数据类型 | 块级 | 文件级 | 块级 | 块级 |
| 典型应用 | 通用 | 文件服务器 | 数据库 | 视频监控 |
| 优点 | 易于理解、兼容性好 | 易安装、成本低 | 高扩展高性能高可用 | 高扩展、成本低 |
| 缺点 | 难管理，扩展有限，利用率低 | 性能较低，部分应用不适合 | 昂贵，配置复杂 | 性能相对较低 |
1.5 存储形态简介
集中式存储
整套存储能力集中在一套系统内（多个机柜设备），分为 SAN、NAS。企业级的存储设备一般都是集中式存储。但是集中是存储并不是一个单独的设备，是集中在一套系统当中的多个设备。
以华为公司的存储为例，整个存储系统可能需要几个机柜来存放。集中式存储按照技术架构可以划分为SAN和NAS，其中SAN又可以细分为FC-SAN、IP-SAN。
- 特点：部署简单，不用考虑多节点分布式协作；控制器是性能瓶颈。
分布式存储
分布式存储系统，是将数据分散存储在多台独立的服务器上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。随着分布式存储越来越普及，现在一些对性能要求比较高的应用也开始使用分布式存储，比如金融系统的数据库
三类业务存储
| 类型 | 特点 | 典型场景 | 协议 |
|---|---|---|---|
| 块存储 | 直接块访问，开销小效率高；扩展成本高 | Oracle 等企业数据库 | iSCSI / FC |
| 文件存储 | 易管理，对接应用友好；扩展存在限制 | 企业内部文件共享 | NFS / CIFS |
| 对象存储 | 扁平结构，近乎无限扩容；互联网标准协议；自管理 | 归档、备份、互联网业务 | HTTP / REST / S3 |
对象存储是一种新兴存储技术，对象存储系统综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。对象存储与块存储、文件存储的对比如下：
-
块存储对存储层直接访问，开销最小，效率最高，速度最快。但成本最高，扩展困难。块存储采用iSCSI/FC协议，很难跨网络传输。适合的应用场景是企业数据库，如运行Oracle等；
-
文件存储是在块存储之上构建了文件系统，采用目录-目录-文件的方式组织数据，更容易管理。因为大多数应用程序都是对文件进行操作，因此文件存储更容易和应用系统对接。文件系统受目录树的限制，扩展性受限，一般最多扩展到几十PB。文件系统适用于企业内部应用整合，文件共享场景；
-
对象存储是在块存储之上构建了对象管理层，与文件系统相比，对象系统层是扁平的，扩展限制少，因此拥有近乎无限的扩展性。对象由唯一的Key，文件，数据（文件），元数据，自定义元数据构成，由于包含了自管理信息，更加智能。对象存储采用兼容标准的互联网协议接口，可以跨地域传输。对象存储适用于面向互联网服务的存储场景，以及企业内部的归档、备份场景。
2 存储关键技术
2.1 RAID 技术
RAID：Redundant Array of Independent Disks，独立硬盘冗余阵列，将多个物理硬盘组合成逻辑硬盘，提升读写性能和数据安全。
常见 RAID 级别
表格
| RAID 级别 | 说明 |
|---|---|
| RAID 0 | 数据条带化，无数据冗余，追求性能 |
| RAID 1 | 数据镜像，两份完整副本，冗余，性能一般 |
| RAID 3 | 条带读写，校验存放在专用校验盘 |
| RAID 5 | 条带化，校验信息分散分布；允许坏 1 块盘 |
| RAID 6 | 双重分布式校验；允许同时坏 2 块盘（DP 双校验） |
| RAID 0+1 | 先 0 后 1，条带再镜像 |
| RAID 10 | 先 1 后 0，镜像再条带；企业高可靠常用 |
| RAID 50 | RAID5 之上再做条带 RAID0，提升性能 |
基础概念
-
条带（strip）：硬盘连续扇区。
-
分条（stripe）：阵列中多块硬盘相同编号条带组成。
-
两种数据保护方式
-
镜像 Mirroring：保存完整数据副本。
-
XOR 奇偶校验 ：异或运算，
0⊕0=0；0⊕1=1；1⊕0=1；1⊕1=0，用于故障盘数据重建。 快速记忆：同步为0，异步为1
-
-
热备 Hot Spare：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性。
- 全局热备：一块备用硬盘供阵列内所有 RAID 组共享。
- 专用热备：备用硬盘只服务某一个 RAID 组。
-
重构 Reconstruct：硬盘故障，热备盘顶替，通过校验 / 镜像重新恢复全部数据。
-
常见RAID级别介绍:
-
RAID 0 ：没有容错设计的条带硬盘阵列，以条带形式将RAID组的数据均匀分布在各个硬盘中。
-
RAID 1 ：又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘。
-
RAID 3 ：带有校验的并行数据传输阵列，数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据。
-
RAID 5 ：与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。RAID 5是最常用的RAID方式之一。
-
RAID 10 ：将镜像和条带进行两级组合的RAID级别，第一级是RAID 1镜像对，第二级为RAID 0。RAID 10 也是一种应用比较广泛的RAID级别。
-
-
RAID 6 DP工作原理：
DP：Double Parity，就是在RAID 4所使用的一个行XOR校验硬盘的基础上又增加了一个硬盘用于存放斜向的XOR校验信息
横向校验盘中P0-P3为各个数据盘中横向数据的校验信息
例：P0=D0 XOR D1 XOR D2 XOR D3
斜向校验盘中DP0-DP3为各个数据盘及横向校验盘的斜向数据校验信息
例：DP0=D0 XOR D5 XOR D10 XOR D15
传统 RAID 痛点
硬盘容量越来越大，重构时间变长；重构期间如果再坏一块盘，整组 RAID 数据丢失风险高。
RAID2.0 / RAID2.0+ / 华为 RAID2.0+/RAID2.0 + 块虚拟化
- RAID 2.0（增强型 RAID）
- 定位：增强型 RAID 技术
- 解决传统 RAID 痛点： 机械硬盘容量越来越大，硬盘故障后重构时间很长；重构周期窗口大，重构过程中如果再坏一块硬盘，会直接全部数据丢失。
- RAID2.0 降低了重构期间多盘故障导致数据丢失的风险。
- RAID 2.0+
- 基于 RAID2.0 升级而来
- 核心特点：更细粒度资源颗粒（可达几十 KB）
- 概念：颗粒作为存储资源分配、回收的基本单位，也就是虚拟块技术，类比计算虚拟化里的虚拟机。
- 华为 RAID 2.0+
-
定位：华为自研，针对传统 RAID 缺陷设计，适配存储虚拟化架构的 RAID 技术
-
架构：把传统固定管理模式改为
两层虚拟化管理
- 底层：块级虚拟化（Virtual for Disk），对物理硬盘做虚拟化管理
- 上层：存储池虚拟化（Virtual for Pool），配合 Smart 系列效率提升软件，实现存储资源高效管理
- RAID2.0 + 块虚拟化
-
架构层级：多块硬盘组成存储池 → 划分 Chunk (4MB) → 跨盘组成 CKG → 切分为 Grain (8KB) → 映射为 LUN
-
作用：数据均匀分布在所有 SSD，消除磁盘热点，负载均衡。
-
三大优势
负载均衡，避免单盘热点，延长硬盘寿命
快速重构，缩短故障风险窗口
全盘参与重构，重构压力分散，不影响上层业务
2.2 存储协议
SCSI 协议
小型计算机系统接口；主机与存储设备通信；分为三层：SCSI 应用层、SCSI 传输层、SCSI 互联层；C/S 模型，下发 I/O 命令。
iSCSI 协议
Internet SCSI；把 SCSI 命令封装到 TCP/IP 报文中，在普通以太网 IP 网络传输块存储，IP‑SAN 的核心协议。
- Initiator（发起端）：SCSI层负责生成CDB（命令描述符块），将CDB传给iSCSI，iSCSI层负责生成iSCSI PDU（协议数据单元），并通过IP网络将PDU发给target。
- Target（目标端）：iSCSI层收到PDU，将CDB传给SCSI层，SCSI层负责解释CDB的意义，必要时发送响应。
- iFCP：网关‑网关协议，FC 存储设备借助 TCP/IP 网络远距离通信，网关做协议转换。
- FCoE（Fibre Channel over Ethernet）以太网光纤通道
- 将 FC 帧封装进以太网帧；同一根线缆同时跑 LAN 以太网业务和 FC‑SAN 块存储业务。
- 数据中心融合网络，减少交换机、线缆数量，降低供电制冷，简化运维。
- FC‑2 及上层不变，仅底层替换以太网链路层。
研讨：
- FCoE：适合本地数据中心内部，服务器和 FC 存储距离近，想统一融合网络。
- iFCP：适合跨远距离站点，原有 FC 存储，需要借助广域 TCP/IP 网络通信。
本章总结
本章我们一起学习了主流的数据存储方式及组网，掌握了 RAID 和华为 RAID 2.0 + 块级虚拟化技术，了解了集中存储和分布式存储的区别与联系、存储的相关协议及适用场景。在接下来的课程中我们将继续学习基础技术中的网络技术部分，敬请期待。
缩略语
| 缩写 | 全称 | 中文释义 |
|---|---|---|
| FC | Fiber Channel | 光纤通道 |
| FCIP | Fibre Channel over IP | 基于 IP 的光纤通道 |
| FCoE | Fibre Channel over Ethernet | 以太网光纤通道 |
| iFCP | Internet Fibre Channel Protocol | Internet 光纤信道协议 |
| iSCSI | Internet Small Computer System Interface | Internet 小型计算机系统接口 |
| IOPS | Input/Output Per Second | 每秒输入输出次数 |
| MTBF | Mean Time Between Failure | 平均无故障工作时间 |
| NAS | Network Attached Storage | 网络附加存储 |
| RAID | Redundant Array of Independent Disks | 独立磁盘冗余阵列 |
| SAN | Storage Area Networks | 存储区域网络 |
| SCSI | Small Computer System Interface | 小型计算机系统接口 |