[四、搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建](#四、搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建)

[1. 配置nfs服务](#1. 配置nfs服务)

[2.创建 Service Account](#2.创建 Service Account)

[3.使用 Deployment 来创建 NFS Provisioner](#3.使用 Deployment 来创建 NFS Provisioner)

[3.1由于 1.20 版本启用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成pv会报错，解决方法如下](#3.1由于 1.20 版本启用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成pv会报错，解决方法如下)

[3.2创建 NFS Provisioner](#3.2创建 NFS Provisioner)

[4.创建 StorageClass](#4.创建 StorageClass)

[5.创建 PVC 和 Pod 测试](#5.创建 PVC 和 Pod 测试)

一、PV、PVC简介

PV 全称叫做 Persistent Volume，持久化存储卷。K8S在指定存储设备空间中逻辑划分创建的可持久化的存储资源对象。

PVC 的全称是 Persistent Volume Claim，是持久化存储的请求。是对PV资源对象的请求和绑定，也是Pod能挂载使用的一种存储卷类型。

PV是集群中的资源。 PVC是对这些资源的请求，也是对资源的索引检查。

二、PV、PVC关系

PV和PVC之间的相互作用遵循生命周期：

Provisioning（配置）---> Binding（绑定）---> Using（使用）---> Releasing（释放） ---> Recycling（回收）

Provisioning，即 PV 的创建，可以直接创建 PV（静态方式），也可以使用 StorageClass 动态创建
Binding，将 PV 分配给 PVC
Using，Pod 通过 PVC 使用该 Volume，并可以通过准入控制StorageProtection（1.9及以前版本为PVCProtection）阻止删除正在使用的 PVC
Releasing，Pod 释放 Volume 并删除 PVC
Reclaiming，回收 PV，可以保留 PV 以便下次使用，也可以直接从云存储中删除

根据5个阶段，PV的状态有以下4种：

Available（可用）：表示可用状态，还未被任何 PVC 绑定
Bound（已绑定）：表示 PV 已经绑定到 PVC
Released（已释放）：表示 PVC 被删掉，但是资源尚未被集群回收
Failed（失败）：表示该 PV 的自动回收失败

PV从创建到销毁的具体流程：

一个PV创建完后状态会变成Available，等待被PVC绑定。
一旦被PVC邦定，PV的状态会变成Bound，就可以被定义了相应PVC的Pod使用。
Pod使用完后会释放PV，PV的状态变成Released。
变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略，Retain、Delete和Recycle。

PV回收策略：

Retain(保留)：当用户删除与之绑定的PVC时候，这个PV被标记为released（PVC与PV解绑但还没有执行回收策略）且之前的数据依然保存在该PV上，但是该PV不可用，需要手动来处理这些数据并删除该PV。
Delete(删除)：删除与PV相连的后端存储资源。对于动态配置的PV来说，默认回收策略为Delete。表示当用户删除对应的PVC时，动态配置的volume将被自动删除。（只有 AWS EBS, GCE PD, Azure Disk 和 Cinder 支持）
Recycle(回收)：如果用户删除PVC，则删除卷上的数据，卷不会删除。（只有 NFS 和 HostPath 支持）

三、创建静态PV

创建使用静态PV

准备好存储设备和共享目录
手动创建PV资源，配置存储卷类型访问模式（RWO RWX ROX RWOP）存储空间大小回收策略（Retain Recycle Delete）等
创建PVC资源，配置请求PV资源的访问模式（必要条件，必须是PV能支持的访问模式）存储空间大小（默认就近选择大于等于指定大小的PV）来绑定PV
创建Pod和Pod控制器资源挂载PVC存储卷，配置存储卷类型为 persistentVolumeClaim ，并在容器配置中定义存储卷挂载点目录

1.配置nfs存储

bash 复制代码

mkdir /data/v{1..5}

vim /etc/exports
/data/v1 192.168.88.0/24(rw,no_root_squash,sync)
/data/v2 192.168.88.0/24(rw,no_root_squash,sync)
/data/v3 192.168.88.0/24(rw,no_root_squash,sync)
/data/v4 192.168.88.0/24(rw,no_root_squash,sync)
/data/v5 192.168.88.0/24(rw,no_root_squash,sync)

exportfs -arv

showmount -e

2.定义PV

bash 复制代码

vim pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:        #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
  name: pv01
  labels:
    name: pv01
spec:
  nfs:                        #定义存储类型
    path: /data/v1            #定义挂载卷路径
    server: 192.168.88.60     #定义服务器名称或地址
  accessModes:                #定义访问模型
  - ReadWriteOnce
  - ReadWriteMany
  capacity:                   #定义存储能力，一般用于设置存储空间
    storage: 1Gi              #指定大小
  storageClassName: slow      #自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV
  persistentVolumeReclaimPolicy: Retain  #回收策略（Retain/Delete/Recycle）
--- 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv02
  labels:
    name: pv02
spec:
  nfs:
    path: /data/v2
    server: 192.168.88.60
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv03
  labels:
    name: pv03
spec:
  nfs:
    path: /data/v3
    server: 192.168.88.60
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv04
  labels:
    name: pv04
spec:
  nfs:
    path: /data/v4
    server: 192.168.88.60
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 4Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv05
  labels:
    name: pv05
spec:
  nfs:
    path: /data/v5
    server: 192.168.88.60
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 5Gi

kubectl apply -f pv.yaml

3.定义PVC

定义了pvc的访问模式为多路读写，该访问模式必须在前面pv定义的访问模式之中。定义PVC申请的大小为2Gi，此时PVC会自动去匹配多路读写且大小为2Gi的PV，匹配成功获取PVC的状态即为Bound

bash 复制代码

vim pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim   #定义类型为pvc
metadata:
  name: mypvc-a
  namespace: default
spec:
  accessModes:                #定义pvc的访问模式
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi            #定义请求pv的大小
---
apiVersion: v1
kind: Pod
metadata:
  name: pod-vol-pvc
  namespace: default
spec:
  containers:
  - name: myapp
    image: nginx:1.14
    volumeMounts:
    - name: html
      mountPath: /usr/share/nginx/html
  volumes:
  - name: html
    persistentVolumeClaim:    #定义挂载的pvc详细信息
      claimName: mypvc-a      #挂载pvc的名称

kubectl apply -f pvc.yaml

4.测试访问

bash 复制代码

在存储服务器上创建index.html，并写入数据，通过访问Pod进行查看，可以获取到相应的页面。
cd /data/v3/
echo "welcome to use pv3" > index.html

kubectl get pods -o wide

curl  10.244.1.37
welcome to use pv3

四、搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建

Kubernetes 本身支持的动态 PV 创建不包括 NFS，所以需要使用外部存储卷插件分配PV。详见：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

卷插件称为 Provisioner（存储分配器），NFS 使用的是 nfs-client，这个外部卷插件会使用已经配置好的 NFS 服务器自动创建 PV。

Provisioner：用于指定 Volume 插件的类型，包括内置插件（如 kubernetes.io/aws-ebs）和外部插件（如 external-storage 提供的 ceph.com/cephfs）。

创建使用动态PV

准备好存储设备和共享目录
如果是外置存储卷插件，需要先创建serviceaccount账户（Pod使用的账户）和做RBAC授权（创建角色授予相关资源对象的操作权限，再将账户和角色进行绑定），使serviceaccount账户具有对PV PVC StorageClass等资源的操作权限
创建外置存储卷插件provisioner的Pod，配置中使用serviceaccount账户作为Pod的用户，并设置相关环境变量参数
创建StorageClass（SC）资源，配置中引用存储卷插件的插件（PROVISIONER_NAME）
创建PVC资源，配置中设置 StorageClass资源名称访问模式存储空间大小。创建PVC资源会自动创建相关的PV资源。
创建Pod资源挂载PVC存储卷，配置存储卷类型为 persistentVolumeClaim ，并在容器配置中定义存储卷挂载点目录

1. 配置nfs服务

bash 复制代码

mkdir /opt/k8s
chmod 777 /data/volumes

vim /etc/exports
/data/volumes 192.168.88.0/24(rw,no_root_squash,sync)

exportfs -arv

2.创建 Service Account

Service Account：用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

bash 复制代码

vim nfs-client-rbac.yaml
#创建 Service Account 账户，用来管理 NFS Provisioner 在 k8s 集群中运行的权限
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
---
#创建集群角色
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: nfs-client-provisioner-clusterrole
rules:
- apiGroups: [""]
  resources: ["persistentvolumes"]
  verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
  resources: ["persistentvolumesclaims"]
  verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources: ["events"]
 verbs: ["list", "watch", "create", "update", "patch"]
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]
---
#集群角色绑定
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: nfs-client-provisioner-clusterrolebinding
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-clusterrole
  apiGroup: rbac.authorization.k8s.io

  verbs: ["list", "watch", "create", "update", "patch"]
- apiGroups: [""]
  resources: ["endpoints"]

kubectl apply -f nfs-client-rbac.yaml

3.使用 Deployment 来创建 NFS Provisioner

NFS Provisioner(即 nfs-client)，有两个功能：一个是在 NFS 共享目录下创建挂载点(volume)，另一个则是将 PV 与 NFS 的挂载点建立关联。

3.1由于 1.20 版本启用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成pv会报错，解决方法如下

bash 复制代码

vim /etc/kubernetes/manifests/kube-apiserver.yaml
spec:
  containers:
  - command:
    - kube-apiserver
    - --feature-gates=RemoveSelfLink=false   #添加这行
    - --advertise-address=192.168.88.70

kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml
kubectl delete pods kube-apiserver -n kube-system 
kubectl get pods -n kube-system | grep apiserver

3.2创建 NFS Provisioner

bash 复制代码

vim nfs-client-provisioner.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nfs-client-provisioner
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
      - name: nfs-client-provisioner
        image: quay.io/external_storage/nfs-client-provisioner:latest
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: nfs-client-root
          mountPath: /persistentvolumes
        env:
        - name: PROVISIONER_NAME
          value: nfs-storage       #配置provisioner的Name，确保该名称与StorageClass资源中的provisioner名称保持一致
        - name: NFS_SERVER
          value: 192.168.88.60     #配置绑定的nfs服务器
        - name: NFS_PATH
          value: /data/volumes     #配置绑定的nfs服务器目录
      volumes:                     #申明nfs数据卷
      - name: nfs-client-root
        nfs:
          server: 192.168.88.60
          path: /data/volumes
    
kubectl apply -f nfs-client-provisioner.yaml     
kubectl get pod

4.创建 StorageClass

StorageClass：负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联

bash 复制代码

vim nfs-client-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client-storageclass
provisioner: nfs-storage      #这里的名称要和provisioner配置文件中的环境变量PROVISIONER_NAME保持一致
parameters:
  archiveOnDelete: "false"     #false表示在删除PVC时不会对数据目录进行打包存档，即删除数据；为ture时就会自动对数据目录进行打包存档，存档文件以archived开头


kubectl apply -f nfs-client-storageclass.yaml
kubectl get storageclass

5.创建 PVC 和 Pod 测试

bash 复制代码

vim test-pvc-pod.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: test-nfs-pvc
  #annotations: volume.beta.kubernetes.io/storage-class: "nfs-client-storageclass"     #另一种SC配置方式，（annotations也可表示为注释字段）
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: nfs-client-storageclass    #关联StorageClass对象
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: test-storageclass-pod
spec:
  containers:
  - name: busybox
    image: busybox:latest
    imagePullPolicy: IfNotPresent
    command:
    - "/bin/sh"
    - "-c"
    args:
    - "sleep 3600"
    volumeMounts:
    - name: nfs-pvc
      mountPath: /mnt
  restartPolicy: Never
  volumes:
  - name: nfs-pvc
    persistentVolumeClaim:
      claimName: test-nfs-pvc      #与PVC名称保持一致

#PVC 通过 StorageClass 自动申请到空间
kubectl get pvc
#查看 NFS 服务器上是否生成对应的目录，自动创建的 PV 会以 ${namespace}-${pvcName}-${pvName} 的目录格式放到 NFS 服务器上
ls /data/volumes

#进入 Pod 在挂载目录 /mnt 下写一个文件，然后查看 NFS 服务器上是否存在该文件
kubectl exec -it test-storageclass-pod sh
/ # cd /mnt/
/mnt # echo 'this is test file' > test.txt

#发现 NFS 服务器上存在，说明验证成功
cat /data/volumes/default-test-nfs-pvc-pvc-bff2245e-990d-4119-a846-06f898f95efb

kubernetes中PV和PVC

一、PV、PVC简介

二、PV、PVC关系

三、创建静态PV

1.配置nfs存储

2.定义PV

3.定义PVC

4.测试访问

四、 搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建

1. 配置nfs服务

2.创建 Service Account

3.使用 Deployment 来创建 NFS Provisioner

3.1由于 1.20 版本启用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成pv会报错，解决方法如下

3.2创建 NFS Provisioner

4.创建 StorageClass

5.创建 PVC 和 Pod 测试

四、搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建