第29讲：Ceph集群使用RBD块存储设备与K8S的PV集成

Jiangxl~2024-06-23 11:20

文章目录

1.Ceph集群使用RBD块存储与K8S集成简介

RBD（Reliable Block Device）组件是一种构建在RADOS集群之上为客户端提供块设备存储接口接口的中间层，提供的块存储服务可以形成一个裸磁盘，提供格式化、映射的功能，挂载到服务器中。

这类的客户端包括虚拟化KVM和云计算OpenStack。

RBD组件支持存储空间的动态扩容，也可以借助RADOS实现快照、副本和一致性。

客户端访问RBD的方式：

  • 通过内核模块rbd.ko将块存储映射成本地的一块磁盘，例如/dev/vdbx等等，可以进行格式化和分区。
  • 通过librbd接口，KVM虚拟化就是使用这种接口。

在K8S集群中为Pod资源提供数据持久化，大致分为三种解决方案：

  • Volume
    • Volume持久化有三种类型分别是EmptyDir、HostPath、NFS。
    • Volume是K8S集群中较为简单的数据持久化方案，无需创建其他资源，直接在Pod资源编排文件中声明Volume卷，即可挂载使用。
  • PV、PVC
    • PV和PVC是一种高级类型的持久化存储费方案，PV负责与底层存储系统进行对接，PVC从PV中分配一定的资源，最后由PVC挂载到Pod中。
  • StorageClass
    • 更加高级的一种持久化存储方案，由StorageClass提供一个数据持久化资源池，当Pod需要持久化数据时，直接从StorageClass中自动创建出PV和PVC，最后挂载到Pod资源中。

无论使用哪种持久化方案，最常用的方式是通过NFS或者NAS来实现，今天通过Ceph分布式集群中的RBD块存储来实现Pod数据的持久化。

使用RBD块存储作为Pod资源数据持久化时，只有集群中某一个Node节点可以挂载一块RBD块存储设备，例如当Node1节点挂载了RBD块设备后，Node1节点中的所有Pod都可以共享这块RBD中的数据，但是其余Node节点都无法挂载这块RBD存储了。

RBD块存储设备无法跨节点使用，只有挂载RBD块存储的Node节点中的Pod资源可以使用，其余节点的Pod资源无法使用。

Ceph集群默认开启了CEPHX的认证，任何存储类型想要是有Ceph作为底层存储，都需要通过用户认证才可以正常使用。

2.Ceph集群RBD块存储与K8S PV存储卷集成

PV、PVC高级存储在K8S集群中的应用极多，与Volume集成方案类似。

大致实现步骤：

1）首先在Ceph集群中创建一个Pool资源池，专门为K8S集群创建块存储设备。

2）然后创建一个集群认证用户，用于使K8S连接到Ceph集群的块存储设备。

3）将认证用户的Key以Secret资源控制器的形式创建在集群中。

4）所有的K8S集群都需要去安装Ceph的命令。

5）在集群中创建一个PV存储，在PV的资源编排文件中配置Ceph集群块存储设备的信息。

6）创建PVC存储卷，与PV进行关联。

7）最后编写Pod资源编排文件，使用PVC作为存储卷，将块设备挂载到Pod中，实现数据持久化。

2.1.创建K8S集群PV使用的块存储

sh 复制代码 
1.创建一个Pool资源池
[root@ceph-node-1 ~]# ceph osd pool create kubernetes_data 16 16
pool 'kubernetes_data' created

2.在资源池中创建块存储设备
[root@ceph-node-1 ~]# rbd create --image-feature layering kubernetes_data/rbd_pv_data.img --size 10G

3.查看创建的块存储设备
[root@ceph-node-1 ~]# rbd -p kubernetes_data ls
rbd_pv_data.img
rbd_volume_data.img

2.2.创建K8S集群访问RBD块存储设备的认证用户

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

sh 复制代码 
[root@ceph-node-1 ~]# ceph auth get-or-create client.kubernetes mon 'profile rbd' osd 'profile rbd pool=kubernetes_data'
[client.kubernetes]
	key = AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A==

命令解释：创建了一个client.kubernetes名称的Ceph认证用户，访问mon的方式是以RBD块存储形式访问，访问OSD的方式也是以块存储RBD方式访问Pool资源池。

查看创建的认证用户。

sh 复制代码 
[root@ceph-node-1 ~]# ceph auth list

可以看到Ceph的认证用户都是以client开头，每一个用户都有对mon和osd的访问方式。

2.3.将认证用户的Key存储在K8S Secret资源中

将认证用户的key通过Base64进行加密，存储在K8S的Secret资源中。

1）将key通过Base64进行加密

sh 复制代码 
[root@ceph-node-1 ~]# echo AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A== | base64
QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

2）将加密后的Key存储在Secret资源中

yaml 复制代码 
[root@k8s-master pv]# vim rbd-volume-secret.yaml
apiVersion: v1
kind: Secret
metadata:
  name: rbd-volume-secret
type: "kubernetes.io/rbd"
data:
  key: QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

3）创建Secret资源

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

sh 复制代码 
[root@k8s-master pv]# kubectl apply -f rbd-volume-secret.yaml
secret/rbd-volume-secret created

[root@k8s-master pv]# kubectl get secret
NAME                  	TYPE                                  DATA   AGE
rbd-volume-secret       kubernetes.io/rbd                     1      16s
default-token-fbknq   	kubernetes.io/service-account-token   3      60d

2.4.在K8S集群的所有节点中安装Ceph命令

不安装ceph命令将无法成功挂载块设备。

sh 复制代码 
[root@k8s-master ~]# yum -y install ceph-common
[root@k8s-node1 ~]# yum -y install ceph-common
[root@k8s-node2 ~]# yum -y install ceph-common

2.5.创建PV及PVC资源使用RBD作为底层存储

在K8S集群中创建PV及PVC存储资源，主要是对PV进行了一些配置，存储底层采用Ceph集群的RBD块存储设备，PVC资源配置不需要任何变动。

1）编写资源编排文件

yaml 复制代码 
[root@k8s-master pv]# vim rbd-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: rbd-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  rbd:										#指定使用rbd块存储类型
    monitors:        						  #指定monitor地址
      - 192.168.20.20:6789
      - 192.168.20.21:6789
      - 192.168.20.22:6789
    pool: kubernetes_data						#指定使用的资源池名称
    image: rbd_pv_data.img						#指定使用的块存储名称
    user: kubernetes							#连接块存储设备的用户
    secretRef:								    #存储用户key的secret资源
      name: rbd-volume-secret
    fsType: ext4							    #文件系统类型
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: rbd						     #存储类型填写rbd

[root@k8s-master pv]# vim rbd-pvc.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
  storageClassName: rbd

2）在集群中创建PV和PVC资源

sh 复制代码 
1.创建资源
[root@k8s-master pv]# kubectl apply -f rbd-pv.yaml
persistentvolume/rbd-pv created
[root@k8s-master pv]# kubectl apply -f rbd-pvc.yaml
persistentvolumeclaim/rbd-pvc created

2.查看资源的状态
[root@k8s-master pv]# kubectl get pv,pvc
NAME                           CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                  STORAGECLASS   REASON   AGE
persistentvolume/rbd-pv   	   10Gi       RWX            Recycle          Bound    default/rbd-pvc   rbd                     24s

NAME                                 STATUS   VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/rbd-pvc        Bound    rbd-pv   		10Gi       RWX            rbd            24s

2.6.创建Pod资源挂载PV存储卷并写入数据

1）编写Pod的资源编排文件

虽然PV底层使用的RBD作为存储，但是Pod使用PVC的方式无任何变化。

yaml 复制代码 
[root@k8s-master pv]# vim rbd-pv-pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: rbd-pv-pod
spec:
  containers:
    - image: nginx:1.15
      name: rbd-pv-pod
      ports:
      - name: web
        containerPort: 80
        protocol: TCP
      volumeMounts:
      - name: rbd-pvc
        mountPath: /data
  volumes:
    - name: rbd-pvc
      persistentVolumeClaim: 
        claimName: rbd-pvc

2）在集群中创建Pod资源

sh 复制代码 
[root@k8s-master pv]# kubectl apply -f rbd-pv-pod.yaml
pod/rbd-pv-pod created

[root@k8s-master pv]# kubectl get pod
NAME              READY   STATUS    RESTARTS   AGE
rbd-pv-pod        1/1     Running   0          3m16s

3）进入Pod中写入数据

sh 复制代码 
[root@k8s-master pv]# kubectl exec -it rbd-pv-pod bash
root@rbd-pv-pod:/# df -hT /data 
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/rbd0      ext4  9.8G   37M  9.7G   1% /data

root@rbd-pv-pod:/# touch /data/file{1..9}.txt

root@rbd-pv-pod:/# ls /data/
file1.txt  file2.txt  file3.txt  file4.txt  file5.txt  file6.txt  file7.txt  file8.txt	file9.txt  lost+found

任何类型的存储卷使用RBD的方式都一样，都会在Pod所在宿主机中挂载RBD块设备映射的磁盘，然后挂载到具体的Pod中，无法跨主机使用。

相关推荐
棠十一1 小时前
docker 启动elasticsearch 与 kibana
elasticsearch·docker·容器
❀͜͡傀儡师1 小时前
使用docker 安装Redis 带配置文件(x86和arm)版本
redis·docker·容器
cuoluoche1 小时前
【docker n8n】windows环境如何挂载
运维·docker·容器
木头左1 小时前
Docker 容器化基础：镜像、容器与仓库的本质解析
docker·容器·eureka
不穿铠甲的穿山甲1 小时前
docker 部署redis集群 配置
redis·docker·容器
藥瓿亭2 小时前
K8S认证|CKS题库+答案| 8. 沙箱运行容器 gVisor
linux·运维·docker·云原生·容器·kubernetes·cks
rocksun2 小时前
需要尽早知道的容器安全知识
安全·容器·kubernetes
网硕互联的小客服2 小时前
如何排查 Docker 容器资源占用过高的问题？
运维·服务器·网络·安全·docker·容器
ReadThroughLife4 小时前
【已解决】MACOS M4 芯片使用 Docker Desktop 工具安装 MICROSOFT SQL SERVER
microsoft·macos·docker·容器
KrityCat4 小时前
阿里云Alibaba Cloud安装Docker与Docker compose【图文教程】
阿里云·docker·容器
热门推荐
01Coze扣子平台完整体验和实践（附国内和国际版对比）02【图像处理与机器视觉】XJTU期末考点03KGG转MP3工具|非KGM文件|解密音频04零代码入门 | Coze——让大模型接入自己的数据库05从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑06YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】07DeepSeek各版本说明与优缺点分析08海康Visionmaster-常见问题排查方法-启动阶段09【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！10R-tree详解