【Kubernetes】k8s集群存储卷（pvc存储卷）

廿四味£2024-08-19 13:53

目录

一、PVC存储卷

1.PV

2.PVC

3.StorageClass

4.PV和PVC的生命周期

二、案例

1.创建静态pv

1.1.配置nfs

1.2.创建pv

1.3.创建pvc

1.4.结合pod，将pv、pvc一起运行

2.创建动态pv

2.1.上传

[2.2.创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则](#2.2.创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则)

[2.3.创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联](#2.3.创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联)

[2.4.创建 PVC 和 Pod 测试](#2.4.创建 PVC 和 Pod 测试)

2.5.测试不备份

三、总结

一、PVC存储卷

1.PV

PV 全称叫做 Persistent Volume，持久化存储卷。它是用来描述或者说用来定义一个存储卷的，这

个通常都是由运维工程师来定义

2.PVC

PVC 的全称是 Persistent Volume Claim，是持久化存储的请求。它是用来描述希望使用什么样的

或者说是满足什么条件的 PV 存储。

PVC 的使用逻辑：在 Pod 中定义一个存储卷（该存储卷类型为 PVC），定义的时候直接指定大

小，PVC 必须与对应的 PV 建立关系，PVC 会根据配置的定义去 PV 申请，而 PV 是由存储空间

创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。

3.StorageClass

上面介绍的PV和PVC模式是需要运维人员先创建好PV，然后开发人员定义好PVC进行一对一的

Bond，但是如果PVC请求成千上万，那么就需要创建成千上万的PV，对于运维人员来说维护成本

很高，Kubernetes提供一种自动创建PV的机制，叫StorageClass，它的作用就是创建PV的模板。

创建 StorageClass 需要定义 PV 的属性，比如存储类型、大小等；另外创建这种 PV 需要用到的

存储插件，比如 Ceph 等。 有了这两部分信息，Kubernetes 就能够根据用户提交的 PVC，找到对

应的 StorageClass，然后 Kubernetes 就会调用 StorageClass 声明的存储插件，自动创建需要的

PV 并进行绑定

PV是集群中的资源。 PVC是对这些资源的请求，也是对资源的索引检查。

4.PV和PVC的生命周期

PV和PVC之间的相互作用遵循这个生命周期

Provisioning（配置）---> Binding（绑定）---> Using（使用）---> Releasing（释放） --->

Recycling（回收）

Provisioning，即 PV 的创建，可以直接创建 PV（静态方式），也可以使用 StorageClass 动态创建

Binding，将 PV 分配给 PVC

Using，Pod 通过 PVC 使用该 Volume，并可以通过准入控制StorageProtection（1.9及以前版本为PVCProtection） 阻止删除正在使用的 PVC

Releasing，Pod 释放 Volume 并删除 PVC

Recycling，回收 PV，可以保留 PV 以便下次使用，也可以直接从云存储中删除

根据这 5 个阶段，PV 的状态有以下 4 种

Available（可用）：表示可用状态，还未被任何 PVC 绑定

Bound（已绑定）：表示 PV 已经绑定到 PVC

Released（已释放）：表示 PVC 被删掉，但是资源尚未被集群回收

Failed（失败）：表示如果 PV 或 PVC 遇到无法解决的问题，例如配额不足、配置错误或者绑定过程中的异常情况，可能会进入 Failed 状态

一个PV从创建到销毁的具体流程如下：

一个PV创建完后状态会变成Available，等待被PVC绑定。

一旦被PVC邦定，PV的状态会变成Bound，就可以被定义了相应PVC的Pod使用。

Pod使用完后会释放PV，PV的状态变成Released。

变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略，Retain、Delete和Recycle。Retain就是保留现场，K8S集群什么也不做，等待用户手动去处理PV里的数据，处理完后，再手动删除PV。Delete策略，K8S会自动删除该PV及里面的数据。Recycle方式，K8S会将PV里的数据删除，然后把PV的状态变成Available，又可以被新的PVC绑定使用

二、案例

1.创建静态pv

1.1.配置nfs

192.168.10.121服务器配置nfs

mkdir -p /data/volumes/v{1..5}
vim /etc/exports
/data/volumes/v1 192.168.10.0/24(rw,sync,no_root_squash)
/data/volumes/v2 192.168.10.0/24(rw,sync,no_root_squash)
/data/volumes/v3 192.168.10.0/24(rw,sync,no_root_squash)
/data/volumes/v4 192.168.10.0/24(rw,sync,no_root_squash)
/data/volumes/v5 192.168.10.0/24(rw,sync,no_root_squash)
 
exportfs -arv

1.2.创建pv

vim demo1-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:      #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
  name: pv001
spec:
  capacity:                               定义存储能力，一般用于设置存储空间
    storage: 1Gi                          指定大小
  accessModes:                            定义访问模式
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle 回收策略
  #storageClassName: slow                 自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV
  nfs:                                    定义存储类型
    path: /data/volumes/v1                定义挂载卷路径
    server: 192.168.10.121                 定义服务器名称
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v2
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v3
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
spec:
  capacity:
    storage: 4Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v4
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v5
    server: 192.168.10.121
---
 
kubectl apply -f demo1-pv.yaml

1.3.创建pvc

vim demo2-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc001
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
  #storageClassName: slow
kubectl apply -f demo2-pvc.yaml

kubectl apply -f demo2-pvc.yaml   #再以同样的文件创建pvc
kubectl get pv,pvc
#可以发现即使条件再匹配，也不会与原先处于released状态的pv匹配

vim demo1-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:      #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
  name: pv001
spec:
  capacity:                               定义存储能力，一般用于设置存储空间
    storage: 1Gi                          指定大小
  accessModes:                            定义访问模式
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle 回收策略
  #storageClassName: slow                 自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV
  nfs:                                    定义存储类型
    path: /data/volumes/v1                定义挂载卷路径
    server: 192.168.10.121                定义服务器名称
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v2
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany 
  persistentVolumeReclaimPolicy: Recycle     #当设置指定访问策略为 Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v3
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
spec:
  capacity:
    storage: 4Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v4
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v5
    server: 192.168.10.121
---
 
kubectl apply -f demo1-pv.yaml
kubectl apply -f demo2-pvc.yaml
kubectl get pv,pvc

1.4.结合pod，将pv、pvc一起运行

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv001
spec:
  capacity:
    storage: 1Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v1
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v2
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v3
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
spec:
  capacity:
    storage: 4Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Recycle
  #storageClassName: slow
  nfs:
    path: /data/volumes/v4
    server: 192.168.10.121
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  #persistentVolumeReclaimPolicy: Recycle
  #storageClassName: liu
  nfs:
    path: /data/volumes/v5
    server: 192.168.10.121
---
 
 
kubectl apply -f demo1-pv.yaml
 
vim demo2-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc001
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
  #storageClassName: liu
 
kubectl apply -f demo2-pvc.yaml

vim demo3-pod.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: demo3
  name: demo3-pod
spec:
  volumes:                     
  - name: tan-vol
    persistentVolumeClaim:
      claimName: mypvc001         #创建的pvc名称
  containers:
  - image: soscscs/myapp:v1
    name: demo
    ports:
    - containerPort: 80
    resources: {}
    volumeMounts:
    - name: tan-vol
      mountPath: /mnt/
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
 
kubectl apply -f demo3-pod.yaml

kubectl delete pod demo3-pod

2.创建动态pv

2.1.上传

上传nfs-client-provisioner.tar 、nfs-client.zip压缩包到master节点
 
上传nfs-client-provisioner.tar到两个node节点

2.2.创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

master节点
kubectl apply -f nfs-client-rbac.yaml
kubectl get serviceaccounts

vim /etc/kubernetes/manifests/kube-apiserver.yaml
    - --feature-gates=RemoveSelfLink=false       #添加这一行
由于 1.20 版本禁用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成 PV 会报错，需要添加
cd /etc/kubernetes/manifests
mv kube-apiserver.yaml /tmp/                #进行重启操作
mv /tmp/kube-apiserver.yaml ./

nfs服务器
vim /etc/exports
/opt/nfs 192.168.10.0/24(rw,sync,no_root_squash)
exportfs -avr
两个node节点检查
 
#创建 NFS Provisioner
 
master节点
cd /root/day9/pv
vim nfs-client-provisioner.yaml
 
kubectl apply -f nfs-client-provisioner.yaml

2.3.创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联

vim nfs-client-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client-storageclass
provisioner: nfs-tan        #要与 nfs-client-provisioner.yaml中设置的一致
parameters:
  archiveOnDelete: "true"   #做数据备份
 
kubectl apply -f nfs-client-storageclass.yaml

2.4.创建 PVC 和 Pod 测试

vim demo2-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc003
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
  storageClassName: nfs-client-storageclass

2.5.测试不备份

vim nfs-client-storageclass.yaml
 
kubectl delete -f nfs-client-storageclass.yaml && kubectl apply -f nfs-client-storageclass.yaml
kubectl get pv,pvc

vim pod.yaml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: demo3
  name: dem3-pod
spec:
  volumes:
  - name: scj-vol
    persistentVolumeClaim:
      claimName: mypvc003
  containers:
  - image: soscscs/myapp:v1
    name: myapp
    ports:
    - containerPort: 80
    resources: {}
    volumeMounts:
    - name: scj-vol
      mountPath: /mnt
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
 
kubectl apply -f pod.yaml
kubectl exec -it dem3-pod -- sh
cd /mnt
echo '123456' > liu.txt

kubectl delete pod dem3-pod
kubectl delete pvc mypvc003  #删除查看是否备份

三、总结

静态PV创建的步骤：

1）准备好存储设备

2）准备创建PV资源的配置文件，定义访问模式(ReadWriteOnce、ReadOnlyMany、ReadWriteMany、ReadWriteOncePod)、最大存储空间、回收策略(Retain、Recycle、Delete)、存储设备类型等配置

3）准备创建PVC资源的配置文件，定义使用的访问模式(必要条件，必须是PV支持的访问模式)、请求的存储空间大小(默认就近选择大于等于指定大小的PV)等配置来绑定PV

4）准备创建Pod资源的配置文件，定义存储卷类型为PVC存储卷(persistentVolumeClaim)，并在容器配置中定义存储卷挂载点路径

动态PV创建的步骤：

1）准备好存储设备

2）如果是外置存储卷插件，需要先创建Pod使用的sa账户和RBAC授权（创建角色授予相关资源对象的操作权限，并将账户与角色绑定），使得sa账户具有对PV、PVC、SC等资源的操作权限

3）准备创建外置存储卷插件Pod资源的配置文件，定义serviceAccountName为上一步创建的sa账户，并设置容器的环境变量的值（比如存储卷插件名称，服务器地址等）

4）准备创建SC资源(StorageClass)的配置文件，设置 provisioner(存储卷插件名称)、parameters(PV的参数) 和 reclaimPolicy(PV的回收策略) 等字段配置

-------------------以上操作是一劳永逸的，创建好存储卷插件和StorageClass资源以后，只要创建PVC资源引用SC资源就可以自动触发存储卷插件动态创建PV资源-------------------

5）准备创建PVC资源的配置文件，定义使用的访问模式、请求的存储空间大小、storageClassName 等配置来动态创建PV资源并绑定PV

6）准备创建Pod资源的配置文件，定义存储卷类型为PVC存储卷(persistentVolumeClaim)，并在容器配置中定义存储卷挂载点路径

相关推荐
正在走向自律42 分钟前
阿里云ESC服务器一次性全部迁移到另一个ESC
服务器·阿里云·云计算
gywl1 小时前
openEuler VM虚拟机操作（期末考试）
linux·服务器·网络·windows·http·centos
青木沐1 小时前
Jenkins介绍
运维·jenkins
WTT00112 小时前
2024楚慧杯WP
大数据·运维·网络·安全·web安全·ctf
苹果醋32 小时前
React源码02 - 基础知识 React API 一览
java·运维·spring boot·mysql·nginx
了一li2 小时前
Qt中的QProcess与Boost.Interprocess：实现多进程编程
服务器·数据库·qt
日记跟新中2 小时前
Ubuntu20.04 修改root密码
linux·运维·服务器
唐小旭3 小时前
服务器建立-错误:pyenv环境建立后python版本不对
运维·服务器·python
码农君莫笑3 小时前
信管通低代码信息管理系统应用平台
linux·数据库·windows·低代码·c#·.net·visual studio
热门推荐
01Cube-Studio：开源大模型全链路一站式中台02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问07构建高效的广告投放系统：应用架构的设计与实现08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10【一文读懂】NTN（非地面网络）技术介绍