【Kubernetes】k8s集群存储卷（pvc存储卷）

廿四味£2024-08-19 13:53

目录

一、PVC存储卷

1.PV

2.PVC

3.StorageClass

4.PV和PVC的生命周期

二、案例

1.创建静态pv

1.1.配置nfs

1.2.创建pv

1.3.创建pvc

1.4.结合pod，将pv、pvc一起运行

2.创建动态pv

2.1.上传

[2.2.创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则](#2.2.创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则)

[2.3.创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联](#2.3.创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联)

[2.4.创建 PVC 和 Pod 测试](#2.4.创建 PVC 和 Pod 测试)

2.5.测试不备份

三、总结

一、PVC存储卷

1.PV

PV 全称叫做 Persistent Volume，持久化存储卷。它是用来描述或者说用来定义一个存储卷的，这

个通常都是由运维工程师来定义

2.PVC

PVC 的全称是 Persistent Volume Claim，是持久化存储的请求。它是用来描述希望使用什么样的

或者说是满足什么条件的 PV 存储。

PVC 的使用逻辑：在 Pod 中定义一个存储卷（该存储卷类型为 PVC），定义的时候直接指定大

小，PVC 必须与对应的 PV 建立关系，PVC 会根据配置的定义去 PV 申请，而 PV 是由存储空间

创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。

3.StorageClass

上面介绍的PV和PVC模式是需要运维人员先创建好PV，然后开发人员定义好PVC进行一对一的

Bond，但是如果PVC请求成千上万，那么就需要创建成千上万的PV，对于运维人员来说维护成本

很高，Kubernetes提供一种自动创建PV的机制，叫StorageClass，它的作用就是创建PV的模板。

创建 StorageClass 需要定义 PV 的属性，比如存储类型、大小等；另外创建这种 PV 需要用到的

存储插件，比如 Ceph 等。 有了这两部分信息，Kubernetes 就能够根据用户提交的 PVC，找到对

应的 StorageClass，然后 Kubernetes 就会调用 StorageClass 声明的存储插件，自动创建需要的

PV 并进行绑定

PV是集群中的资源。 PVC是对这些资源的请求，也是对资源的索引检查。

4.PV和PVC的生命周期

PV和PVC之间的相互作用遵循这个生命周期

Provisioning（配置）---> Binding（绑定）---> Using（使用）---> Releasing（释放） --->

Recycling（回收）

Provisioning，即 PV 的创建，可以直接创建 PV（静态方式），也可以使用 StorageClass 动态创建

Binding，将 PV 分配给 PVC

Using，Pod 通过 PVC 使用该 Volume，并可以通过准入控制StorageProtection（1.9及以前版本为PVCProtection） 阻止删除正在使用的 PVC

Releasing，Pod 释放 Volume 并删除 PVC

Recycling，回收 PV，可以保留 PV 以便下次使用，也可以直接从云存储中删除

根据这 5 个阶段，PV 的状态有以下 4 种

Available（可用）：表示可用状态，还未被任何 PVC 绑定

Bound（已绑定）：表示 PV 已经绑定到 PVC

Released（已释放）：表示 PVC 被删掉，但是资源尚未被集群回收

Failed（失败）：表示如果 PV 或 PVC 遇到无法解决的问题，例如配额不足、配置错误或者绑定过程中的异常情况，可能会进入 Failed 状态

一个PV从创建到销毁的具体流程如下：

一个PV创建完后状态会变成Available，等待被PVC绑定。

一旦被PVC邦定，PV的状态会变成Bound，就可以被定义了相应PVC的Pod使用。

Pod使用完后会释放PV，PV的状态变成Released。

变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略，Retain、Delete和Recycle。Retain就是保留现场，K8S集群什么也不做，等待用户手动去处理PV里的数据，处理完后，再手动删除PV。Delete策略，K8S会自动删除该PV及里面的数据。Recycle方式，K8S会将PV里的数据删除，然后把PV的状态变成Available，又可以被新的PVC绑定使用

二、案例

1.创建静态pv

1.1.配置nfs

192.168.10.121服务器配置nfs

mkdir -p /data/volumes/v{1..5}
vim /etc/exports
/data/volumes/v1 192.168.10.0/24(rw,sync,no_root_squash)
/data/volumes/v2 192.168.10.0/24(rw,sync,no_root_squash)
/data/volumes/v3 192.168.10.0/24(rw,sync,no_root_squash)
/data/volumes/v4 192.168.10.0/24(rw,sync,no_root_squash)
/data/volumes/v5 192.168.10.0/24(rw,sync,no_root_squash)
 
exportfs -arv

1.2.创建pv

vim demo1-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:      #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
  name: pv001
spec:
  capacity:                               定义存储能力，一般用于设置存储空间
    storage: 1Gi                          指定大小
  accessModes:                            定义访问模式
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle 回收策略
  #storageClassName: slow                 自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV
  nfs:                                    定义存储类型
    path: /data/volumes/v1                定义挂载卷路径
    server: 192.168.10.121                 定义服务器名称
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v2
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v3
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
spec:
  capacity:
    storage: 4Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v4
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v5
    server: 192.168.10.121
---
 
kubectl apply -f demo1-pv.yaml

1.3.创建pvc

vim demo2-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc001
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
  #storageClassName: slow
kubectl apply -f demo2-pvc.yaml

kubectl apply -f demo2-pvc.yaml   #再以同样的文件创建pvc
kubectl get pv,pvc
#可以发现即使条件再匹配，也不会与原先处于released状态的pv匹配

vim demo1-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:      #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
  name: pv001
spec:
  capacity:                               定义存储能力，一般用于设置存储空间
    storage: 1Gi                          指定大小
  accessModes:                            定义访问模式
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle 回收策略
  #storageClassName: slow                 自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV
  nfs:                                    定义存储类型
    path: /data/volumes/v1                定义挂载卷路径
    server: 192.168.10.121                定义服务器名称
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v2
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany 
  persistentVolumeReclaimPolicy: Recycle     #当设置指定访问策略为 Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v3
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
spec:
  capacity:
    storage: 4Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v4
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v5
    server: 192.168.10.121
---
 
kubectl apply -f demo1-pv.yaml
kubectl apply -f demo2-pvc.yaml
kubectl get pv,pvc

1.4.结合pod，将pv、pvc一起运行

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv001
spec:
  capacity:
    storage: 1Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v1
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v2
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v3
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
spec:
  capacity:
    storage: 4Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v4
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: liu
  nfs:
    path: /data/volumes/v5
    server: 192.168.10.121
---
 
 
kubectl apply -f demo1-pv.yaml
 
vim demo2-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc001
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
  #storageClassName: liu
 
kubectl apply -f demo2-pvc.yaml

vim demo3-pod.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: demo3
  name: demo3-pod
spec:
  volumes:                     
  - name: tan-vol
    persistentVolumeClaim:
      claimName: mypvc001         #创建的pvc名称
  containers:
  - image: soscscs/myapp:v1
    name: demo
    ports:
    - containerPort: 80
    resources: {}
    volumeMounts:
    - name: tan-vol
      mountPath: /mnt/
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
 
kubectl apply -f demo3-pod.yaml

kubectl delete pod demo3-pod

2.创建动态pv

2.1.上传

上传nfs-client-provisioner.tar 、nfs-client.zip压缩包到master节点
 
上传nfs-client-provisioner.tar到两个node节点

2.2.创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

master节点
kubectl apply -f nfs-client-rbac.yaml
kubectl get serviceaccounts

vim /etc/kubernetes/manifests/kube-apiserver.yaml
    - --feature-gates=RemoveSelfLink=false       #添加这一行
由于 1.20 版本禁用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成 PV 会报错，需要添加
cd /etc/kubernetes/manifests
mv kube-apiserver.yaml /tmp/                #进行重启操作
mv /tmp/kube-apiserver.yaml ./

nfs服务器
vim /etc/exports
/opt/nfs 192.168.10.0/24(rw,sync,no_root_squash)
exportfs -avr
两个node节点检查
 
#创建 NFS Provisioner
 
master节点
cd /root/day9/pv
vim nfs-client-provisioner.yaml
 
kubectl apply -f nfs-client-provisioner.yaml

2.3.创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联

vim nfs-client-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client-storageclass
provisioner: nfs-tan        #要与 nfs-client-provisioner.yaml中设置的一致
parameters:
  archiveOnDelete: "true"   #做数据备份
 
kubectl apply -f nfs-client-storageclass.yaml

2.4.创建 PVC 和 Pod 测试

vim demo2-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc003
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
  storageClassName: nfs-client-storageclass

2.5.测试不备份

vim nfs-client-storageclass.yaml
 
kubectl delete -f nfs-client-storageclass.yaml && kubectl apply -f nfs-client-storageclass.yaml
kubectl get pv,pvc

vim pod.yaml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: demo3
  name: dem3-pod
spec:
  volumes:
  - name: scj-vol
    persistentVolumeClaim:
      claimName: mypvc003
  containers:
  - image: soscscs/myapp:v1
    name: myapp
    ports:
    - containerPort: 80
    resources: {}
    volumeMounts:
    - name: scj-vol
      mountPath: /mnt
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
 
kubectl apply -f pod.yaml
kubectl exec -it dem3-pod -- sh
cd /mnt
echo '123456' > liu.txt

kubectl delete pod dem3-pod
kubectl delete pvc mypvc003  #删除查看是否备份

三、总结

静态PV创建的步骤：

1）准备好存储设备

2）准备创建PV资源的配置文件，定义访问模式(ReadWriteOnce、ReadOnlyMany、ReadWriteMany、ReadWriteOncePod)、最大存储空间、回收策略(Retain、Recycle、Delete)、存储设备类型等配置

3）准备创建PVC资源的配置文件，定义使用的访问模式(必要条件，必须是PV支持的访问模式)、请求的存储空间大小(默认就近选择大于等于指定大小的PV)等配置来绑定PV

4）准备创建Pod资源的配置文件，定义存储卷类型为PVC存储卷(persistentVolumeClaim)，并在容器配置中定义存储卷挂载点路径

动态PV创建的步骤：

1）准备好存储设备

2）如果是外置存储卷插件，需要先创建Pod使用的sa账户和RBAC授权（创建角色授予相关资源对象的操作权限，并将账户与角色绑定），使得sa账户具有对PV、PVC、SC等资源的操作权限

3）准备创建外置存储卷插件Pod资源的配置文件，定义serviceAccountName为上一步创建的sa账户，并设置容器的环境变量的值（比如存储卷插件名称，服务器地址等）

4）准备创建SC资源(StorageClass)的配置文件，设置 provisioner(存储卷插件名称)、parameters(PV的参数) 和 reclaimPolicy(PV的回收策略) 等字段配置

-------------------以上操作是一劳永逸的，创建好存储卷插件和StorageClass资源以后，只要创建PVC资源引用SC资源就可以自动触发存储卷插件动态创建PV资源-------------------

5）准备创建PVC资源的配置文件，定义使用的访问模式、请求的存储空间大小、storageClassName 等配置来动态创建PV资源并绑定PV

6）准备创建Pod资源的配置文件，定义存储卷类型为PVC存储卷(persistentVolumeClaim)，并在容器配置中定义存储卷挂载点路径

相关推荐
vip4513 分钟前
Linux 经典面试八股文
linux
大霞上仙5 分钟前
Ubuntu系统电脑没有WiFi适配器
linux·运维·电脑
weixin_4426434224 分钟前
推荐FileLink数据跨网摆渡系统 — 安全、高效的数据传输解决方案
服务器·网络·安全·filelink数据摆渡系统
Karoku06642 分钟前
【企业级分布式系统】Zabbix监控系统与部署安装
运维·服务器·数据库·redis·mysql·zabbix
为什么这亚子1 小时前
九、Go语言快速入门之map
运维·开发语言·后端·算法·云原生·golang·云计算
半桶水专家1 小时前
用go实现创建WebSocket服务器
服务器·websocket·golang
布值倒区什么name1 小时前
bug日常记录responded with a status of 413 (Request Entity Too Large)
运维·服务器·bug
孤客网络科技工作室1 小时前
VMware 虚拟机使用教程及 Kali Linux 安装指南
linux·虚拟机·kali linux
。puppy2 小时前
HCIP--3实验- 链路聚合,VLAN间通讯,Super VLAN,MSTP,VRRPip配置,OSPF(静态路由,环回，缺省，空接口),NAT
运维·服务器
颇有几分姿色2 小时前
深入理解 Linux 内存管理：free 命令详解
linux·运维·服务器
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10【TC3xx芯片】TC3xx芯片电源管理系统PMS详解