kubernetes中PV和PVC

q1y2y32023-08-15 19:20

目录

一、PV、PVC简介

二、PV、PVC关系

三、创建静态PV

1.配置nfs存储

2.定义PV

3.定义PVC

4.测试访问

[四、 搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建](#四、 搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建)

[1. 配置nfs服务](#1. 配置nfs服务)

[2.创建 Service Account](#2.创建 Service Account)

[3.使用 Deployment 来创建 NFS Provisioner](#3.使用 Deployment 来创建 NFS Provisioner)

[3.1由于 1.20 版本启用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成pv会报错，解决方法如下](#3.1由于 1.20 版本启用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成pv会报错，解决方法如下)

[3.2创建 NFS Provisioner](#3.2创建 NFS Provisioner)

[4.创建 StorageClass](#4.创建 StorageClass)

[5.创建 PVC 和 Pod 测试](#5.创建 PVC 和 Pod 测试)

一、PV、PVC简介

PV 全称叫做 Persistent Volume，持久化存储卷。K8S在指定存储设备空间中逻辑划分创建的可持久化的存储资源对象。

PVC 的全称是 Persistent Volume Claim，是持久化存储的请求。是对PV资源对象的请求和绑定，也是Pod能挂载使用的一种存储卷类型。

PV是集群中的资源。 PVC是对这些资源的请求，也是对资源的索引检查。

二、PV、PVC关系

PV和PVC之间的相互作用遵循生命周期：

Provisioning（配置）---> Binding（绑定）---> Using（使用）---> Releasing（释放） ---> Recycling（回收）

  • Provisioning，即 PV 的创建，可以直接创建 PV（静态方式），也可以使用 StorageClass 动态创建
  • Binding，将 PV 分配给 PVC
  • Using，Pod 通过 PVC 使用该 Volume，并可以通过准入控制StorageProtection（1.9及以前版本为PVCProtection） 阻止删除正在使用的 PVC
  • Releasing，Pod 释放 Volume 并删除 PVC
  • Reclaiming，回收 PV，可以保留 PV 以便下次使用，也可以直接从云存储中删除

根据5个阶段，PV的状态有以下4种：

  • Available（可用）：表示可用状态，还未被任何 PVC 绑定
  • Bound（已绑定）：表示 PV 已经绑定到 PVC
  • Released（已释放）：表示 PVC 被删掉，但是资源尚未被集群回收
  • Failed（失败）：表示该 PV 的自动回收失败

PV从创建到销毁的具体流程：

  1. 一个PV创建完后状态会变成Available，等待被PVC绑定。
  2. 一旦被PVC邦定，PV的状态会变成Bound，就可以被定义了相应PVC的Pod使用。
  3. Pod使用完后会释放PV，PV的状态变成Released。
  4. 变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略，Retain、Delete和Recycle。

PV回收策略：

  • Retain(保留)：当用户删除与之绑定的PVC时候，这个PV被标记为released（PVC与PV解绑但还没有执行回收策略）且之前的数据依然保存在该PV上，但是该PV不可用，需要手动来处理这些数据并删除该PV。
  • Delete(删除)：删除与PV相连的后端存储资源。对于动态配置的PV来说，默认回收策略为Delete。表示当用户删除对应的PVC时，动态配置的volume将被自动删除。（只有 AWS EBS, GCE PD, Azure Disk 和 Cinder 支持）
  • Recycle(回收)：如果用户删除PVC，则删除卷上的数据，卷不会删除。（只有 NFS 和 HostPath 支持）

三、创建静态PV

创建使用 静态PV

  1. 准备好存储设备和共享目录
  2. 手动创建PV资源，配置 存储卷类型 访问模式（RWO RWX ROX RWOP） 存储空间大小 回收策略（Retain Recycle Delete）等
  3. 创建PVC资源，配置请求PV资源的访问模式（必要条件，必须是PV能支持的访问模式） 存储空间大小（默认就近选择大于等于指定大小的PV）来绑定PV
  4. 创建Pod和Pod控制器资源挂载PVC存储卷，配置存储卷类型为 persistentVolumeClaim ，并在容器配置中定义存储卷挂载点目录

1.配置nfs存储

bash 复制代码 
mkdir /data/v{1..5}

vim /etc/exports
/data/v1 192.168.88.0/24(rw,no_root_squash,sync)
/data/v2 192.168.88.0/24(rw,no_root_squash,sync)
/data/v3 192.168.88.0/24(rw,no_root_squash,sync)
/data/v4 192.168.88.0/24(rw,no_root_squash,sync)
/data/v5 192.168.88.0/24(rw,no_root_squash,sync)

exportfs -arv

showmount -e

2.定义PV

bash 复制代码 
vim pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:        #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
  name: pv01
  labels:
    name: pv01
spec:
  nfs:                        #定义存储类型
    path: /data/v1            #定义挂载卷路径
    server: 192.168.88.60     #定义服务器名称或地址
  accessModes:                #定义访问模型
  - ReadWriteOnce
  - ReadWriteMany
  capacity:                   #定义存储能力，一般用于设置存储空间
    storage: 1Gi              #指定大小
  storageClassName: slow      #自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV
  persistentVolumeReclaimPolicy: Retain  #回收策略（Retain/Delete/Recycle）
--- 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv02
  labels:
    name: pv02
spec:
  nfs:
    path: /data/v2
    server: 192.168.88.60
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv03
  labels:
    name: pv03
spec:
  nfs:
    path: /data/v3
    server: 192.168.88.60
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv04
  labels:
    name: pv04
spec:
  nfs:
    path: /data/v4
    server: 192.168.88.60
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 4Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv05
  labels:
    name: pv05
spec:
  nfs:
    path: /data/v5
    server: 192.168.88.60
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 5Gi

kubectl apply -f pv.yaml

3.定义PVC

定义了pvc的访问模式为多路读写，该访问模式必须在前面pv定义的访问模式之中。定义PVC申请的大小为2Gi，此时PVC会自动去匹配多路读写且大小为2Gi的PV，匹配成功获取PVC的状态即为Bound

bash 复制代码 
vim pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim   #定义类型为pvc
metadata:
  name: mypvc-a
  namespace: default
spec:
  accessModes:                #定义pvc的访问模式
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi            #定义请求pv的大小
---
apiVersion: v1
kind: Pod
metadata:
  name: pod-vol-pvc
  namespace: default
spec:
  containers:
  - name: myapp
    image: nginx:1.14
    volumeMounts:
    - name: html
      mountPath: /usr/share/nginx/html
  volumes:
  - name: html
    persistentVolumeClaim:    #定义挂载的pvc详细信息
      claimName: mypvc-a      #挂载pvc的名称

kubectl apply -f pvc.yaml

4.测试访问

bash 复制代码 
在存储服务器上创建index.html，并写入数据，通过访问Pod进行查看，可以获取到相应的页面。
cd /data/v3/
echo "welcome to use pv3" > index.html

kubectl get pods -o wide

curl  10.244.1.37
welcome to use pv3

四、 搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建

Kubernetes 本身支持的动态 PV 创建不包括 NFS，所以需要使用外部存储卷插件分配PV。详见：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

卷插件称为 Provisioner（存储分配器），NFS 使用的是 nfs-client，这个外部卷插件会使用已经配置好的 NFS 服务器自动创建 PV。

Provisioner：用于指定 Volume 插件的类型，包括内置插件（如 kubernetes.io/aws-ebs）和外部插件（如 external-storage 提供的 ceph.com/cephfs）。

创建使用动态PV

  1. 准备好存储设备和共享目录
  2. 如果是外置存储卷插件，需要先创建serviceaccount账户（Pod使用的账户）和做RBAC授权（创建角色授予相关资源对象的操作权限，再将账户和角色进行绑定），使serviceaccount账户具有对PV PVC StorageClass等资源的操作权限
  3. 创建外置存储卷插件provisioner的Pod，配置中使用serviceaccount账户作为Pod的用户，并设置相关环境变量参数
  4. 创建StorageClass（SC）资源，配置中引用存储卷插件的插件（PROVISIONER_NAME）
  5. 创建PVC资源，配置中设置 StorageClass资源名称 访问模式 存储空间大小。创建PVC资源会自动创建相关的PV资源。
  6. 创建Pod资源挂载PVC存储卷，配置存储卷类型为 persistentVolumeClaim ，并在容器配置中定义存储卷挂载点目录

1. 配置nfs服务

bash 复制代码 
mkdir /opt/k8s
chmod 777 /data/volumes

vim /etc/exports
/data/volumes 192.168.88.0/24(rw,no_root_squash,sync)

exportfs -arv

2.创建 Service Account

Service Account：用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

bash 复制代码 
vim nfs-client-rbac.yaml
#创建 Service Account 账户，用来管理 NFS Provisioner 在 k8s 集群中运行的权限
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
---
#创建集群角色
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: nfs-client-provisioner-clusterrole
rules:
- apiGroups: [""]
  resources: ["persistentvolumes"]
  verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
  resources: ["persistentvolumesclaims"]
  verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources: ["events"]
 verbs: ["list", "watch", "create", "update", "patch"]
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]
---
#集群角色绑定
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: nfs-client-provisioner-clusterrolebinding
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-clusterrole
  apiGroup: rbac.authorization.k8s.io

  verbs: ["list", "watch", "create", "update", "patch"]
- apiGroups: [""]
  resources: ["endpoints"]

kubectl apply -f nfs-client-rbac.yaml

3.使用 Deployment 来创建 NFS Provisioner

NFS Provisioner(即 nfs-client)，有两个功能：一个是在 NFS 共享目录下创建挂载点(volume)，另一个则是将 PV 与 NFS 的挂载点建立关联。

3.1由于 1.20 版本启用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成pv会报错，解决方法如下

bash 复制代码 
vim /etc/kubernetes/manifests/kube-apiserver.yaml
spec:
  containers:
  - command:
    - kube-apiserver
    - --feature-gates=RemoveSelfLink=false   #添加这行
    - --advertise-address=192.168.88.70

kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml
kubectl delete pods kube-apiserver -n kube-system 
kubectl get pods -n kube-system | grep apiserver

3.2创建 NFS Provisioner

bash 复制代码 
vim nfs-client-provisioner.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nfs-client-provisioner
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
      - name: nfs-client-provisioner
        image: quay.io/external_storage/nfs-client-provisioner:latest
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: nfs-client-root
          mountPath: /persistentvolumes
        env:
        - name: PROVISIONER_NAME
          value: nfs-storage       #配置provisioner的Name，确保该名称与StorageClass资源中的provisioner名称保持一致
        - name: NFS_SERVER
          value: 192.168.88.60     #配置绑定的nfs服务器
        - name: NFS_PATH
          value: /data/volumes     #配置绑定的nfs服务器目录
      volumes:                     #申明nfs数据卷
      - name: nfs-client-root
        nfs:
          server: 192.168.88.60
          path: /data/volumes
    
kubectl apply -f nfs-client-provisioner.yaml     
kubectl get pod

4.创建 StorageClass

StorageClass：负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联

bash 复制代码 
vim nfs-client-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client-storageclass
provisioner: nfs-storage      #这里的名称要和provisioner配置文件中的环境变量PROVISIONER_NAME保持一致
parameters:
  archiveOnDelete: "false"     #false表示在删除PVC时不会对数据目录进行打包存档，即删除数据；为ture时就会自动对数据目录进行打包存档，存档文件以archived开头


kubectl apply -f nfs-client-storageclass.yaml
kubectl get storageclass

5.创建 PVC 和 Pod 测试

bash 复制代码 
vim test-pvc-pod.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: test-nfs-pvc
  #annotations: volume.beta.kubernetes.io/storage-class: "nfs-client-storageclass"     #另一种SC配置方式，（annotations也可表示为注释字段）
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: nfs-client-storageclass    #关联StorageClass对象
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: test-storageclass-pod
spec:
  containers:
  - name: busybox
    image: busybox:latest
    imagePullPolicy: IfNotPresent
    command:
    - "/bin/sh"
    - "-c"
    args:
    - "sleep 3600"
    volumeMounts:
    - name: nfs-pvc
      mountPath: /mnt
  restartPolicy: Never
  volumes:
  - name: nfs-pvc
    persistentVolumeClaim:
      claimName: test-nfs-pvc      #与PVC名称保持一致

#PVC 通过 StorageClass 自动申请到空间
kubectl get pvc
#查看 NFS 服务器上是否生成对应的目录，自动创建的 PV 会以 ${namespace}-${pvcName}-${pvName} 的目录格式放到 NFS 服务器上
ls /data/volumes

#进入 Pod 在挂载目录 /mnt 下写一个文件，然后查看 NFS 服务器上是否存在该文件
kubectl exec -it test-storageclass-pod sh
/ # cd /mnt/
/mnt # echo 'this is test file' > test.txt

#发现 NFS 服务器上存在，说明验证成功
cat /data/volumes/default-test-nfs-pvc-pvc-bff2245e-990d-4119-a846-06f898f95efb
相关推荐
SRExianxian26 分钟前
kubernetes存储架构之PV controller源码解读
容器·架构·kubernetes
cdg==吃蛋糕2 小时前
docker代理配置
docker·容器·eureka
ether-lin3 小时前
DevOps实战：用Kubernetes和Argo打造自动化CI/CD流程（2）
kubernetes·自动化·devops
web135085886353 小时前
使用docker compose安装gitlab
docker·容器·gitlab
IT机器猫3 小时前
Docker完整技术汇总
运维·docker·容器
董健正3 小时前
Docker安装
docker·容器·docker-compose
无所不在的物质3 小时前
Jenkins基础教程
运维·云原生·自动化·jenkins
coco_1998_24 小时前
nvidia docker, nvidia docker2, nvidia container toolkits区别
docker·容器
vvw&5 小时前
Docker Build 命令详解：在 Ubuntu 上构建 Docker 镜像教程
linux·运维·服务器·ubuntu·docker·容器·开源
是芽芽哩！6 小时前
【Kubernetes 指南】基础入门——Kubernetes 基本概念（二）
云原生·容器·kubernetes
热门推荐
01大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）02Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO03玄机平台应急响应—webshell查杀04电赛2024年H题智能小车基于MSPM0G3507主控MCU（利用8路灰度加上MPU6050的解决方式）具体项目报告05组基轨迹建模 GBTM的介绍与实现（Stata 或 R）06支付宝短视频平台创作分成激励项目07STM32 无法烧录08【一文读懂】NTN（非地面网络）技术介绍09优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间10怎么找小红书美食探店博主合作？