存储技术基础小白教程

文章目录

存储技术基础小白教程

来源:华为 FusionCompute V8.3.0 存储技术基础课件,用大白话讲解,去掉晦涩黑话,适合零基础入门。

一、什么是存储

存储就是保存、管理数字数据的整套技术。

  • 硬件:硬盘、SSD磁盘阵列等物理设备
  • 软件:云存储、存储管理系统 核心目标:可靠、安全地存数据,随时可以读取使用

存储发展时间线

年代 技术 特点
1950s 传统存储 大型机本地硬盘,笨重昂贵
1980s 外挂存储 硬盘从服务器里面拿出来,外接设备
1990s 存储网络 DAS/NAS/SAN出现,多台服务器共享存储
本世纪 分布式&云存储 多台服务器一起组成资源池,弹性扩容

演进小逻辑:服务器内置硬盘 → JBOD简单硬盘堆 → 磁盘阵列(带RAID控制器) → 网络存储 → 分布式云存储。

  • JBOD:只是把一堆硬盘拼一起,只增加容量,没有数据保护,坏盘就丢数据
  • 磁盘阵列:增加控制器+缓存,实现性能提升、故障保护。

二、主流硬盘类型

硬盘是存储最底层硬件,分机械盘HDD和固态盘SSD。

硬盘类型 特点 适用场景
SATA 7200转,成本低,年故障率约2% 普通大容量存储、备份
SAS 10K/15K高转速,企业级,可靠性高 数据库、高IO业务,可向下兼容SATA盘
NL‑SAS SATA盘,SAS接口,兼顾容量和接口 分级存储,大容量企业归档
SSD固态硬盘 无转动部件,速度极快,MTBF最高 高性能业务,数据库、虚拟化

硬盘核心性能指标

  1. 容量:能存多少数据(TB)
  2. 转速RPM:仅机械硬盘才有,转速越高读写越快
  3. 平均访问时间:硬盘找到数据耗时,越小越好
  4. 带宽(吞吐量):大文件连续读写速度,单位MB/s
  5. IOPS :每秒读写次数!随机读写看IOPS,数据库最重要指标

参考数值对比

硬盘 4K随机写IOPS 128K顺序读带宽
SATA机械盘 330 200MB/s
SAS15K机械盘 450 290MB/s
SATA SSD 30‑60K 540MB/s
NVMe SSD 300K+ 3500MB/s

💡记住:小文件随机读写看IOPS;大文件拷贝看带宽

三、四大存储组网(DAS / NAS / FC‑SAN / IP‑SAN)

1、DAS 直连存储

Direct Attached Storage,直连附加存储

  • 连接:硬盘/磁盘阵列直接插服务器,SAS/FC/SCSI线缆直连,不经过交换机
  • 访问:块级访问,服务器识别成本地硬盘 ✅优点:简单、兼容性好 ❌缺点:距离有限、难共享,多台服务器不能共用这套盘,扩展性差 👉场景:单台服务器本地存储,小型业务

2、NAS 网络附加存储

Network Attached Storage

  • 连接:走普通以太网网线,使用NFS(Linux)、CIFS/SMB(Windows)协议
  • 访问:文件级访问,提供共享文件夹,多台服务器同时读写同一个目录 ✅优点:部署简单,直接做文件共享 ❌缺点:性能偏弱,大IO数据库业务不适合 👉场景:企业文件共享、文档服务器、素材库

3、SAN 存储区域网络

Storage Area Network:专门用来跑存储流量的网络,提供块设备,服务器识别成一块裸硬盘,服务器自己做格式化建文件系统。分两种:

FC‑SAN
  • 硬件:专用FC光纤交换机 + 光纤线缆
  • 协议:FC光纤通道协议 ✅优点:高性能、低延迟、高可靠,适合核心数据库 ❌缺点:硬件贵,设备专用,成本高 👉场景:Oracle、核心业务数据库,金融生产环境
IP‑SAN(iSCSI)
  • 硬件:普通以太网交换机、网线
  • 协议:iSCSI(把SCSI指令打包跑在TCP/IP网络) ✅优点:复用现有普通网络,省钱,不用买昂贵FC设备 ❌缺点:性能相比FC略低 👉场景:虚拟化、视频监控、中小型数据库

组网对比简表

项目 DAS NAS FC‑SAN IP‑SAN(iSCSI)
数据类型 块级 文件级 块级 块级
传输链路 SAS/FC直连 普通IP以太网 FC光纤专用网 普通IP以太网
典型应用 单机业务 文件共享 核心数据库 虚拟化、监控
优点 简单兼容 易安装,支持多机共享 高性能高可用 成本低,复用现有网络
缺点 不能多机共享 性能一般 设备贵配置复杂 性能略逊FC

四、存储三大业务类型:块、文件、对象存储

  1. 块存储

    相当于裸硬盘。存储给服务器一块裸盘(LUN),操作系统自己格式化、建文件系统。

  • 协议:FC、iSCSI
  • 特点:速度快、延迟低;扩容麻烦
  • 场景:数据库、虚拟机磁盘。
  1. 文件存储

    相当于共享文件夹,自带目录树、权限。

  • 协议:NFS、CIFS/SMB
  • 特点:多台机器直接挂载访问,适合文档;海量文件性能会下降
  • 场景:企业文档、素材共享。
  1. 对象存储

    扁平化存储,最小单元叫对象:原始数据 + 唯一Key标识 + 自定义元数据标签,通过HTTP/REST接口访问。

  • 特点:近乎无限扩容,天生分布式;不支持传统目录修改操作
  • 场景:网盘、图片视频归档、备份、互联网业务。

五、架构区分:集中式存储 vs 分布式存储

集中式存储

  • 整套存储硬件是一套独立磁盘阵列,控制器、硬盘框组成,一般是机柜设备。
  • 架构:SAN/NAS都可以做成集中式。 ✅优点:部署简单,不需要处理多节点复杂协同;企业传统存储主流。 ❌缺点:扩容上限受控制器能力约束。

分布式存储

把数据打散分散存放在多台独立服务器节点上,软件把所有服务器硬盘虚拟成一个大资源池。 ✅优点:横向扩展,加服务器节点就扩容;多副本保障可靠性,性能容量一起涨。 ❌缺点:架构复杂,节点之间网络压力大。 👉场景:云平台、海量数据,现在金融、虚拟化大量使用分布式。

六、RAID 磁盘冗余阵列(核心技术)

RAID:独立磁盘冗余阵列。把多块物理硬盘组合成一个逻辑盘,实现提升读写性能 + 硬盘故障保护数据不丢失

两个保护原理

  1. 镜像Mirror:一份数据写两份,两块盘存一模一样内容(RAID1)
  2. 异或校验XOR:通过数学运算生成校验数据,坏盘后靠剩余盘+校验计算恢复丢失数据(RAID5/6)。

热备 & 重构

  • 热备盘Hot‑Spare:空闲备用硬盘。RAID组里面硬盘坏了,热备盘自动顶上。分全局热备(给所有RAID组用)、专用热备(只服务某一组RAID)。
  • 重构Rebuild:坏盘之后,系统利用校验/镜像,把数据重建到热备盘上的过程。⚠️重构期间再坏一块盘,RAID就崩溃丢数据!

常见RAID级别

RAID级别 原理 最少盘数 容错(最多坏几块盘) 空间利用率 特点
RAID0 条带化,数据拆分分散写所有盘,无冗余 2 0 100% 性能最高;坏任意一块全盘数据丢失,生产严禁单独用!
RAID1 镜像,两份完全一样数据写两块盘 2 1 50% 安全性高,写性能一般;适合重要小数据
RAID5 条带+分布式校验盘,校验分散在所有硬盘 3 1 (n‑1)/n 兼顾性能和容量;重构压力大,大容量盘风险高
RAID6 双份分布式校验DP 4 2 (n‑2)/n 可以同时坏两块硬盘,大容量硬盘首选
RAID10 先做镜像RAID1,再条带RAID0 4 每组镜像坏一块 50% 高性能+高可靠;数据库主流选择

RAID0+1 和 RAID10不一样:RAID0+1先条带再镜像,容错能力弱,工业界优先选RAID10。

华为 RAID 2.0+(块级虚拟化)

传统RAID痛点:硬盘容量越来越大,重构时间极长,重构时再坏盘就全部数据丢失。

RAID2.0+解决思路:

  1. 底层把所有硬盘切分成非常细小粒度的Chunk块
  2. 再把跨不同物理盘的Chunk组成CKG(相当于虚拟化RAID组);
  3. LUN再从CKG分配空间。

效果:

  • 数据均匀打散分布在全部硬盘,实现硬盘负载均衡,不会个别硬盘热点瓶颈;
  • 重构只需要恢复少量小块,重构时间大幅缩短,降低重构期间二次坏盘风险;
  • 硬盘资源池化,空间灵活分配,不用手动规划固定RAID组。

关键名词记忆:物理磁盘 → Chunk(磁盘切小单元) → CKG(虚拟RAID组) → LUN(对外给服务器使用的逻辑盘)

七、存储协议大白话

SCSI是底层命令语言,定义读写磁盘的指令;不同协议就是把SCSI指令打包跑在不同网络上面。

  1. SCSI协议:原始磁盘指令集,块存储都基于这套命令。早期并行SCSI,现在SAS就是串行SCSI。
  2. iSCSI协议(IP‑SAN) 把SCSI命令打包装进TCP/IP以太网数据包,跑普通网线。
  • Initiator(发起端):服务器,发出读写磁盘请求。
  • Target(目标端):存储设备,保存数据,响应服务器请求。
  1. FC协议(FC‑SAN):光纤通道协议,跑专用光纤交换机,高性能块存储。

FC跨IP网络两种协议(打通FC‑SAN和TCP/IP广域网)

  1. iFCP :网关‑网关协议。两端FC‑SAN存储各接一台iFCP网关,FC帧转TCP/IP,走IP网络远距离互联。适合异地两个FC‑SAN机房远距离通信

  2. FCoE

    :Fibre‑Channel over Ethernet,

    以太网承载原生FC帧

    。把FC帧封装进 lossless无损以太网帧。

    作用:一台网线同时跑普通上网LAN流量 + FC‑SAN存储流量,减少服务器网卡、线缆、交换机数量,简化机房布线。适合同一个数据中心内部融合网络

简单区分iFCP vs FCoE

  • FCoE:同机房,以太网里面跑原生FC,减少硬件线缆。
  • iFCP:跨广域网,网关转换,让两地FC‑SAN通过IP网络通信。

八、本章小测(课件思考题)

  1. 多选:关于FC‑SAN描述正确的是() A 需要使用光纤交换机 B 需要使用以太网交换机 C 存储设备之间连接不能使用FC链路 D 数据报文遵循FC协议栈 ✅答案:A D
  2. 判断:SATA硬盘性能优于SAS硬盘。() ✅答案:错误。SAS企业级硬盘转速、可靠性、性能高于SATA。

九、缩略语速查表(复习)

缩写 全称 中文
DAS Direct Attached Storage 直连存储
NAS Network Attached Storage 网络附加存储
SAN Storage Area Network 存储区域网络
FC Fibre Channel 光纤通道
iSCSI Internet Small Computer System Interface 互联网小型计算机接口
FCoE FC over Ethernet 以太网光纤通道
iFCP Internet Fibre Channel Protocol 互联网光纤通道协议
RAID Redundant Array of Independent Disks 独立磁盘冗余阵列
IOPS Input Output Per Second 每秒读写操作次数
LUN Logical Unit Number 逻辑单元号,存储对外提供的逻辑磁盘
dant Array of Independent Disks 独立磁盘冗余阵列
IOPS Input Output Per Second 每秒读写操作次数
LUN Logical Unit Number 逻辑单元号,存储对外提供的逻辑磁盘
相关推荐
云贝贝贝1 小时前
腾讯云 TDSQL(MySQL 版)运维高频 6 坑:代理路由、读写分离、分片键、监控、PITR
运维·mysql·腾讯云
小五传输2 小时前
FTP替代怎么做?医院文件安全传输选型与迁移指南
大数据·运维·安全
金智维科技官方2 小时前
财务核算如何提效?这三条核心链路正在加速自动化
运维·人工智能·ai·自动化·财务·智能体
tang777892 小时前
反爬虫场景下代理IP池的动态扩容与失效IP自动清理方案实现
linux·服务器·网络·爬虫代理·住宅代理ip
新时代牛马3 小时前
Linux 系统调用与IPC 完整篇:从syscall 入口、VDSO 到pipe/shm/futex 选型
linux·运维·服务器
luckystar513~3 小时前
Hermes 实战 :系列收官/生产化——安全审计与运维
运维·人工智能·安全·agent·智能体开发·hermes实战·智能体网关
大模型码小白4 小时前
AI大模型接入SDK:人工智能核心概念与发展史
大数据·运维·人工智能·安全·prompt
fpcc4 小时前
计算机原理—Linux是如何加载可执行文件到内存
linux
野熊佩骑4 小时前
Kubernetes实战系列文章(三) 之 K8S运维常用命令
linux·运维·docker·微服务·云原生·容器·kubernetes