**摘要：**本文系统介绍存储技术的基础知识与关键实现。第一部分从存储的定义出发，梳理存储发展历程、主流硬盘类型、存储组网方式（DAS、NAS、SAN）以及集中式与分布式存储形态；第二部分深入讲解RAID技术的基本概念、数据组织形式、数据保护方式、热备与重构机制，并介绍RAID 6 DP、RAID 2.0+等进阶技术，最后概述SCSI与iSCSI等存储协议。
1.存储基础介绍
1.1什么是存储
- 存储是指在计算机或其他电子设备上存储和管理数字信息的过程。它既可以包括物理存储设备，如硬盘和固态硬盘，也可以包括虚拟存储系统，如云存储服务
- 存储是指在计算机或其他电子设备上存储和管理数字信息的过程。它既可以包括物理存储设备，如硬盘和固态硬盘，也可以包括虚拟存储系统，如云存储服务
1.2存储发展历程
- 从硬盘到磁盘阵列
- 从分离到融合
- 分布式存储
通过软件将物理资源组织起来构成高性能逻辑存储池，在保证可靠性的同时提供多种存储服务
一般而言，分布式存储是将数据分散存储在多台独立的设备上，采用可扩展的系统结构、利用多台存储服务器分担存储负荷、利用位置服务器定位存储信息
- 存储虚拟化
存储虚拟化可以将存储设备进行抽象，以逻辑资源的方式呈现，统一提供全面的存储服务
可以在不同的存储形态或设备类型之间提供统一的功能
- 云存储
云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，它使用高度虚拟化的多租户基础设施为企业提供可扩展的存储资源，可以根据组织的要求动态配置
1.3主流硬盘类型
硬盘是计算机最主要的存储设备，硬盘接口是硬盘与主机系统间的连接部件，作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与计算机之间的连接速度，直接影响着程序运行快慢和系统性能好
1.4存储组网类型
DAS存储简介（基本不用）
NAS存储
NAS：Network Attached Storage，网络附加存储，是一种将分布、独立的数据进行整合，集中化管理，以便于对不同主机和应用服务器进行访问的技术
SAN存储
SAN：Storage Area Networks，存储区域网络，是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统
FC-SAN
IP-SAN
三种存储组网总结对比
1.5存储形态简介
- 集中式存储
集中式存储系统，即整个存储是集中在一个系统中的。企业级的存储设备一般都是集中式存储。但集中式存储并不是一个单独的设备，是集中在一套系统当中的多个设备。以华为公司的存储为例，整个存储系统可能需要几个机柜来存放。集中式存储按照技术架构可以划分为SAN和NAS，其中SAN又可以细分为FC-SAN、IP-SAN
集中式存储最大的特点就是部署结构简单，无需考虑如何对服务进行多个节点的部署，也就不用考虑多个节点之间的分布式协作问题
- 分布式存储
分布式存储系统，是将数据分散存储在多台独立的服务器上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。随着分布式存储越来越普及，现在一些对性能要求比较高的应用也开始使用分布式存储，比如金融系统的数据库
- 存储业务类型
2.存储关键技术
2.1RAID技术
- RAID基本概念
RAID：Redundant Array of Independent Disks，独立硬盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性
根据不同的组合方式可以分为不同的RAID级别
|------------|---------------------|
| RAID 0 | 数据条带化，无校验 |
| RAID 1 | 数据镜像，无校验 |
| RAID 3 | 数据条带化读写，校验信息存放于专用硬盘 |
| RAID 5 | 数据条带化，校验信息分布式存放 |
| RAID 6 | 数据条带化，分布式校验并提供两级冗余 |
同时采用两种不同的RAID方式还能组合成新的RAID级别
|--------------|-----------------------------------|
| RAID 0+1 | 先做RAID 0，后做RAID 1，同时提供数据条带化和镜像 |
| RAID 10 | 类似于RAID 0+1，区别在于先做RAID 1，后做RAID 0 |
| RAID 50 | 先做RAID 5，后做RAID 0，能有效提高RAID 5的性能 |
- RAID的数据组织形式
硬盘的条带化：将硬盘空间按照设定的大小分为多个条带，数据写入时也按照条带的大小来划分数据模块
条带（strip）：硬盘中单个或者多个连续的扇区构成一个条带，是组成分条的元素
分条（stripe）：同一硬盘阵列中的多个硬盘驱动器上的相同"位置"（或者说是相同编号）的条带
- RAID的数据保护方式
方法一：镜像（Mirroring），在另一块冗余的硬盘上保存数据的副本
方法二：奇偶校验算法（XOR） XOR运算广泛地使用在数字电子和计算机科学中 XOR校验的算法---相同为假，相异为真： 0⊕0=0； 0⊕1=1； 1⊕0=1； 1⊕1=0
- RAID热备和重构概念
热备（Hot Spare）的定义:当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性
热备一般分为两种:
全局式：备用硬盘为系统中所有的冗余RAID组共享
专用式：备用硬盘为系统中某一组冗余RAID组专用
- 常见RAID级别介绍
- RAID 6 DP工作原理
DP：Double Parity，就是在RAID 4所使用的一个行XOR校验硬盘的基础上又增加了一个硬盘用于存放斜向的XOR校验信息
横向校验盘中P0-P3为各个数据盘中横向数据的校验信息
例：P0=D0 XOR D1 XOR D2 XOR D3
斜向校验盘中DP0-DP3为各个数据盘及横向校验盘的斜向数据校验信息
例：DP0=D0 XOR D5 XOR D10 XOR D15
- RAID 2.0技术介绍
RAID 2.0
增强型RAID技术，有效解决了机械硬盘容量越来越大，重构一块机械硬盘所需时间越来越长，传统RAID组重构窗口越来越大而导致重构期间又故障一块硬盘而彻底丢失数据风险的问题
RAID 2.0+
在RAID 2.0的基础上提供了更细粒度（可以达几十KB粒度）的资源颗粒，形成存储资源的标准分配及回收单位，类似计算虚拟化中的虚拟机，我们称之为虚拟块技术
华为RAID 2.0+
是华为针对传统RAID的缺点，设计的一种满足存储技术虚拟化架构发展趋势的全新的RAID技术，其传统固定管理模式为两层虚拟化管理模式，在底层块级虚拟化（Virtual for Disk）硬盘管理的基础之上，通过一系列Smart效率提升软件，实现了上层虚拟化（Virtual for Pool）的高效资源管理
- RAID 2.0+块虚拟化技术
存储的数据最终都会存储到SSD盘上，如果有些盘片上存放的数据不均匀，就可能导致某些压力大的SSD盘成为系统的瓶颈
为应对该问题，华为存储系统采用新型的RAID 2.0+块虚拟化技术，通过更细粒度的划分，实现所有LUN的数据均衡地分布在每块SSD盘上，实现盘的负载均衡
2.2存储协议
- SCSI协议
SCSI：Small Computer System Interface，小型计算机系统接口，最初是一种为小型机研制的接口技术，用于主机与外部设备之间的连接
- iSCSI协议
iSCSI：Internet SCSI，把SCSI命令和块状数据封装在TCP中在IP网络中传输，基本出发点是利用成熟的IP网络技术来实现和延伸SAN
- iSCSI的发起端与目标端
2.3FC协议与TCP协议融合
- 从现有的情况来看，以太网技术和FC技术都在飞速发展，IP-SAN和FC-SAN在很长的一段时间内都将是并存且互为补充的
- TCP/IP网络承载FC信道方式：iFCP和FCoE
iFCP：Internet Fibre Channel Protocol，是一种网关到网关协议，为TCP/IP网络中的光纤通道设备提供光纤通道通信服务，实现端到端IP连接
iFCP协议位于光纤通道和TCP/IP之间，这意味着iFCP可以与光纤通道或TCP/IP进行交互
FCoE：Fibre Channel over Ethernet，以太网光纤通道。FCoE允许在一根通信线缆上传输LAN和FC SAN通信，融合网络可以支持LAN和SAN数据类型，减少数据中心设备和线缆数量，同时降低供电和制冷负载，收敛成一个统一的网络后，需要支持的点也跟着减少了，有助于降低管理负担。
FCoE把FC帧封装在以太网帧中，允许LAN和SAN的业务流量在同一个以太网中传
FCoE将FC-2及以上层的内容封装成以太网报文进行传输
3.总结
存储基础
- DAS：直连存储，现已少用
- NAS ：以太网，文件存储，NFS/SMB 协议
- SAN：块存储；FC‑SAN（光纤）、IP‑SAN（iSCSI）
- 集中式存储：资源一套设备内，部署简单，扩容受限
- 分布式存储：数据分散多台服务器，易横向扩展，可靠性高
RAID（独立磁盘冗余阵列）
- RAID0 ：条带，高性能，无冗余，坏盘全丢
- RAID1：镜像，2 份副本，可坏半数盘
- RAID5 ：分布式校验，允许坏1 块盘
- RAID6 ：双重校验，允许坏2 块盘
- RAID10：先镜像，后条带；RAID50：先 RAID5，后条带
- 保护方式：镜像、XOR 异或校验
- 热备：全局热备（所有 RAID 共用）、专用热备（仅一组 RAID）；盘故障后做重构恢复冗余
- RAID6‑DP：横向 P 校验 + 斜向 DP 双重校验，支持 2 块盘故障
- RAID2.0+：盘切细粒度块，缩短重构时间，数据打散，解决热点盘，两层虚拟化
存储协议
- SCSI：主机与存储底层通信协议
- iSCSI ：SCSI 封装 TCP/IP，IP‑SAN；Initiator 发起端 (服务器)，Target 目标端 (存储)
- iFCP：FC 封装 TCP/IP 传输
- FCoE ：FC 帧封装以太网，LAN/SAN 共网，不走 TCP
- FC‑SAN 与 IP‑SAN 长期并存
口诀：NAS 文件 SAN 块；0 无 1 镜 5 单 6 双；iSCSI 跑 TCP，FCoE 跑以太网。