k8s持久化存储之OpenEBS

一、介绍

OpenEBS 是 CNCF 项目的一部分，采用 Apache v2 许可证。是 Kubernetes 部署使用最广泛且易用的开源存储解决方案。

目的：

让持久化工作负载的存储和存储服务完全集成到环境中，这样每个团队和工作负载都可以从控制的粒度和 Kubernetes 原生行为中获益。

特点：

• 微服务架构，使用 Kubernetes 自身的能力来编排管理 OpenEBS 组件。
• OpenEBS 支持一系列存储引擎，以便开发人员能够部署适合其应用程序设计目标的存储技术。像 Cassandra 这样的分布式应用程序可以使用 LocalPV 引擎实现最低延迟的写操作。像 MySQL 和 PostgreSQL 这样的独立应用程序可以使用 ZFS 引擎 (cStor) 进行恢复。像 Kafka 这样的流媒体应用程序可以使用 NVMe 引擎 Mayastor 在边缘环境中获得最佳性能。
• 在各种引擎类型中，OpenEBS 为高可用性、快照、克隆和易管理性提供了一致的框架。
• 管理员和开发人员可以使用 Kubernetes 提供的所有工具来交互和管理 OpenEBS。

二、OpenEBS 存储引擎建议

应用需求	存储类型	OpenEBS 卷类型
低时延、高可用性、同步复制、快照、克隆、精简配置	SSD/ 云存储卷	OpenEBS Mayastor
高可用性、同步复制、快照、克隆、精简配置	机械 /SSD/ 云存储卷	OpenEBS cStor
高可用性、同步复制、精简配置	主机路径或外部挂载存储	OpenEBS Jiva
低时延、本地 PV	主机路径或外部挂载存储	Dynamic Local PV - Hostpath, Dynamic Local PV - Rawfile
低时延、本地 PV	本地机械 /SSD/ 云存储卷等块设备	Dynamic Local PV - Device
低延迟，本地 PV，快照，克隆	本地机械 /SSD/ 云存储卷等块设备	OpenEBS Dynamic Local PV - ZFS , OpenEBS Dynamic Local PV - LVM

• 多机环境，如果有额外的块设备（非系统盘块设备）作为数据盘，选用 OpenEBS Mayastor、OpenEBS cStor
• 多机环境，如果没有额外的块设备（非系统盘块设备）作为数据盘，仅单块系统盘块设备，选用 OpenEBS Jiva
• 单机环境，建议本地路径 Dynamic Local PV - Hostpath, Dynamic Local PV - Rawfile，由于单机多用于测试环境，数据可靠性要求较低。

三、安装

openobs官方安装文档

在安装openebs之前先去除污点，然后等安装完成再添加回来污点

# 去除污点
kubectl taint nodes k8s-master01 node-role.kubernetes.io/master=:NoSchedule-
# 添加污点
kubectl taint nodes k8s-master01 node-role.kubernetes.io/master=:NoSchedule

添加helm repo

helm repo add openebs https://openebs.github.io/charts
helm repo update

安装openebs（这里只会安装Jiva和Local组件）

helm install openebs --namespace openebs openebs/openebs --create-namespace --version 3.0.x

添加cstor支持

helm install openebs --namespace openebs openebs/openebs --create-namespace --set cstor.enabled=true --version 3.2.0

查看安装

# 查看安装pod
kubectl get pod -n openebs
# 查看安装blockdevice，这里的blockdevice是磁盘，当添加一块未分配的磁盘，就会有值
kubectl get bd -n openebs

OpenEBS依赖与iSCSI做存储管理，因此需要先确保您的集群上已有安装openiscsi。 （这里当报错的时候可以安装试试）

yum -y install iscsi-initiator-utils
systemctl enable iscsid --now
systemctl start iscsid

查看安装状况：

[root@k8s-master01 ~]# kubectl get pod -n openebs
NAME                                            READY   STATUS    RESTARTS         AGE
openebs-cstor-admission-server-b74f5487-lkz84   1/1     Running   1 (6m21s ago)    8h
openebs-cstor-csi-controller-0                  6/6     Running   0                4m44s
openebs-cstor-csi-node-4df4w                    2/2     Running   2 (61m ago)      8h
openebs-cstor-csi-node-x8bmt                    2/2     Running   6 (16m ago)      8h
openebs-cstor-csi-node-zzn4k                    2/2     Running   2 (6m21s ago)    8h
openebs-cstor-cspc-operator-84464fb479-fh949    1/1     Running   3 (16m ago)      8h
openebs-cstor-cvc-operator-646f6f676b-xhd44     1/1     Running   2 (16m ago)      46m
openebs-localpv-provisioner-55b65f8b55-zqj29    1/1     Running   13 (6m23s ago)   8h
openebs-ndm-429hl                               1/1     Running   2 (4m28s ago)    8h
openebs-ndm-9kkzd                               1/1     Running   1 (6m21s ago)    8h
openebs-ndm-operator-6c944d87b6-5ddxz           1/1     Running   2 (16m ago)      46m
openebs-ndm-sqnwx                               1/1     Running   6 (15m ago)      8h

四、添加磁盘

[root@k8s-master01 ~]# kubectl get bd -n openebs
NAME                                           NODENAME       SIZE           CLAIMSTATE   STATUS     AGE
blockdevice-57886fae032a3d3638badeb1282dd67e   k8s-node02     21473771008    Unclaimed    Active     53s
blockdevice-d923fc382d96ff6eea7d9ab8efb66224   k8s-master01   21473771008    Unclaimed    Active     11m
blockdevice-e5009ce419c80719025c4cc9409253ab   k8s-node01     21473771008    Unclaimed    Active     33s

五、配置

5.1 创建cStor存储池

cspc.yaml ：

apiVersion: cstor.openebs.io/v1
kind: CStorPoolCluster
metadata:
 name: cstor-disk-pool
 namespace: openebs
spec:
 pools:
   - nodeSelector:
       kubernetes.io/hostname: "k8s-master01"
     dataRaidGroups:
       - blockDevices:
           - blockDeviceName: "blockdevice-d923fc382d96ff6eea7d9ab8efb66224"
     poolConfig:
       dataRaidGroupType: "stripe"

   - nodeSelector:
       kubernetes.io/hostname: "k8s-node01"
     dataRaidGroups:
       - blockDevices:
           - blockDeviceName: "blockdevice-e5009ce419c80719025c4cc9409253ab"
     poolConfig:
       dataRaidGroupType: "stripe"

   - nodeSelector:
       kubernetes.io/hostname: "k8s-node02"
     dataRaidGroups:
       - blockDevices:
           - blockDeviceName: "blockdevice-57886fae032a3d3638badeb1282dd67e"
     poolConfig:
       dataRaidGroupType: "stripe"

dataRaidGroupType:可以根据您的需要设置为 stripe or mirror 。下面以配置为stripe为例。

[root@k8s-master01 openebs]# kubectl get CStorPoolCluster -n openebs
NAME              HEALTHYINSTANCES   PROVISIONEDINSTANCES   DESIREDINSTANCES   AGE
cstor-disk-pool                      3                      3                  42s

5.2 storageclass创建

5.2.1 cstor的创建

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: cstor-csi-disk
provisioner: cstor.csi.openebs.io
allowVolumeExpansion: true
parameters:
  cas-type: cstor
  # cstorPoolCluster should have the name of the CSPC
  cstorPoolCluster: cstor-disk-pool
  # replicaCount should be <= no. of CSPI created in the selected CSPC
  replicaCount: "3"

添加硬盘后查看磁盘情况

磁盘 /dev/sdb：21.5 GB, 21474836480 字节，41943040 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：gpt
Disk identifier: ADA9C10B-8C31-4EE2-A29B-F2701E9554DC


#         Start          End    Size  Type            Name
 1         2048     41943006     20G  Linux filesyste OpenEBS_NDM

5.2.2 jiva

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: jiva-storageclass
  annotations:
    openebs.io/cas-type: jiva
    cas.openebs.io/config: |
      - name: StoragePool
        value: default
provisioner: openebs.io/provisioner-iscsi

5.2.3 hostpath

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: localpv-hostpath-sc
  annotations:
    openebs.io/cas-type: local
    cas.openebs.io/config: |
      - name: BasePath
        value: "/var/openebs/local"
      - name: StorageType
        value: "hostpath"
provisioner: openebs.io/local

5.2.4 device

下面的类型需要添加硬盘

磁盘 /dev/sdc：21.5 GB, 21474836480 字节，41943040 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：gpt
Disk identifier: BAD0A706-0A9D-478A-85C6-319224EC5D1F


#         Start          End    Size  Type            Name
 1         2048     41943006     20G  Linux filesyste OpenEBS_NDM

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: localpv-device-sc
  annotations:
    openebs.io/cas-type: local
    cas.openebs.io/config: |
      - name: StorageType
        value: "device"
      - name: FSType
        value: ext4
provisioner: openebs.io/local

查看：

[root@k8s-master01 openebs]# kubectl get sc -n openebs
NAME               PROVISIONER            RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
cstor-csi-disk     cstor.csi.openebs.io   Delete          Immediate              true                   43s
openebs-device     openebs.io/local       Delete          WaitForFirstConsumer   false                  9h
openebs-hostpath   openebs.io/local       Delete          WaitForFirstConsumer   false                  9h

5.2.5 cStor、Jiva、LocalPV 特性比较：

特性	Jiva	cStor	Local PV
轻量级运行于用户空间	Yes	Yes	Yes
同步复制	Yes	Yes	No
适合低容量工作负载	Yes	Yes	Yes
支持快照，克隆	Basic	Advanced	No
数据一致性	Yes	Yes	NA
使用 Velero 恢复备份	Yes	Yes	Yes
适合高容量工作负载	No	Yes	Yes
自动精简配置		Yes	No
磁盘池或聚合支持		Yes	No
动态扩容		Yes	Yes
数据弹性 (RAID 支持)		Yes	No
接近原生磁盘性能	No	No	Yes

大多数场景推荐 cStor，因其提供了强大的功能，包括快照 / 克隆、存储池功能（如精简资源调配、按需扩容等）。

Jiva 适用于低容量需求的工作负载场景，例如 5 到 50G。尽管使用 Jiva 没有空间限制，但建议将其用于低容量工作负载。Jiva 非常易于使用，并提供企业级容器本地存储，而不需要专用硬盘。有快照和克隆功能的需求的场景，优先考虑使用 cStor 而不是 Jiva。

5.3 默认sc

kubectl patch storageclass cstor-csi-disk -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'