Ceph概述、准备ceph部署环境、cephadm概述、安装Ceph集群、ceph块存储、存储池、rbd镜像管理、ceph客户端配置

WIfks_2023-07-28 18:10

day03

day03ceph概述部署Ceph节点准备cephadm准备基础环境安装ceph实现块存储块存储基础存储池镜像ceph客户端

ceph概述

  • ceph可以实现的存储方式：

    • 块存储：提供像普通硬盘一样的存储，为使用者提供"硬盘"
    • 文件系统存储：类似于NFS的共享方式，为使用者提供共享文件夹
    • 对象存储：像百度云盘一样，需要使用单独的客户端

  • Ceph存储集群至少需要一个Ceph监视器、Ceph管理器和Ceph OSD(对象存储守护程序)。运行Ceph文件系统客户端时，需要Ceph元数据服务器。

    • 监视器：Ceph Monitor（ceph-mon）维护集群状态图，包括监视器图、管理器图、OSD图、MDS图和CRUSH图。这些映射是Ceph守护进程相互协调所需的关键集群状态。监视器还负责管理守护程序和客户端之间的身份验证。为了冗余和高可用性，通常至少需要三台Monitor。
    • 管理器：Ceph Manager（ceph-mgr）负责跟踪ceph集群的运行时指标和当前状态，包括存储利用率、当前性能指标和系统负载。Ceph Manager守护进程还托管基于python的模块来管理和公开Ceph集群信息，包括基于web的Ceph仪表板和REST API。高可用性通常需要至少两台Manager。
    • Ceph OSD：ceph-osd存储数据，处理数据复制、恢复、重新平衡，并通过检查其他Ceph OSD守护进程的心跳来为Ceph监视器和管理器提供一些监视信息。为了实现冗余和高可用性，通常至少需要三个Ceph OSD。
    • MDS：ceph-mds代表Ceph文件系统存储元数据(即，Ceph块设备和Ceph对象存储不使用MDS)。Ceph元数据服务器允许POSIX文件系统用户执行基本命令(如ls、find等)。)而不会给Ceph存储集群带来巨大的负担。
    • RGW：Rados Gateway，是一个提供对象存储功能的组件，可以通过RESTful接口向外部应用程序提供可扩展和高可用的存储服务。

  • Ceph将数据作为对象存储在逻辑存储池中。使用CRUSH算法，Ceph计算哪个归置组(PG)应该包含该对象，以及哪个OSD应该存储该归置组。CRUSH算法支持Ceph存储集群动态扩展、重新平衡和恢复。

  • 部署ceph集群需要python3、podman或docker、时间服务（如chrony）、lvm2

部署Ceph

节点准备

  • ceph1、ceph2、ceph3内存至少需要2GB
主机名 IP地址
ceph1 192.168.88.11/24
ceph2 192.168.88.12/24
ceph3 192.168.88.13/24
client1 192.168.88.10/24
复制代码 
# 创建4台虚拟机
复制代码 
[root@myhost ~]# vm clone ceph{1..3} client1
  • 关机，为ceph1-ceph3各额外再添加3块20GB的硬盘

cephadm

  • Cephadm使用容器和systemd安装和管理Ceph集群，并与CLI（命令行）和dashboard GUI紧密集成。

  • cephadm与新的编排API完全集成，并完全支持新的CLI和仪表板功能来管理集群部署。

  • cephadm需要容器支持(podman或docker)和Python 3。

  • cephadm是一个用于管理Ceph集群的实用程序。可以使用它：

    • 将Ceph容器添加到集群中
    • 从群集中删除一个Ceph容器
    • 更新Ceph容器

准备基础环境

  • 在pubserver上配置ansible环境
复制代码 
[root@pubserver ~]# mkdir ceph
复制代码 
[root@pubserver ~]# cd ceph
复制代码 
[root@pubserver ceph]# vim ansible.cfg
复制代码 
[defaults]
复制代码 
inventory = inventory
复制代码 
host_key_checking = false
复制代码
复制代码 
[root@pubserver ceph]# vim inventory
复制代码 
[ceph]    # 定义ceph组
复制代码 
ceph1 ansible_host=192.168.88.11
复制代码 
ceph2 ansible_host=192.168.88.12
复制代码 
ceph3 ansible_host=192.168.88.13
复制代码
复制代码 
[clients]  # 定义客户端组
复制代码 
client1 ansible_host=192.168.88.10
复制代码
复制代码 
[all:vars]
复制代码 
ansible_ssh_user=root
复制代码 
ansible_ssh_pass=a
复制代码
复制代码 
[root@pubserver ceph]# mkdir files/
复制代码 
[root@pubserver ceph]# vim files/local88.repo
复制代码 
[BaseOS]
复制代码 
name = BaseOS
复制代码 
baseurl = ftp://192.168.88.240/dvd/BaseOS
复制代码 
enabled = 1
复制代码 
gpgcheck = 0
复制代码
复制代码 
[AppStream]
复制代码 
name = AppStream
复制代码 
baseurl = ftp://192.168.88.240/dvd/AppStream
复制代码 
enabled = 1
复制代码 
gpgcheck = 0
复制代码
复制代码 
[rpms]
复制代码 
name = rpms
复制代码 
baseurl = ftp://192.168.88.240/rpms
复制代码 
enabled = 1
复制代码 
gpgcheck = 0
复制代码
复制代码 
# 配置yum
复制代码 
[root@pubserver ceph]# vim 01-upload-repo.yml
复制代码 
---
复制代码 
- name: config repos.d
复制代码 
  hosts: all
复制代码 
  tasks:
复制代码 
    - name: delete repos.d
复制代码 
      file:
复制代码 
        path: /etc/yum.repos.d
复制代码 
        state: absent
复制代码
复制代码 
    - name: create repos.d
复制代码 
      file:
复制代码 
        path: /etc/yum.repos.d
复制代码 
        state: directory
复制代码 
        mode: '0755'
复制代码
复制代码 
    - name: upload local88
复制代码 
      copy:
复制代码 
        src: files/local88.repo
复制代码 
        dest: /etc/yum.repos.d/
复制代码 
[root@pubserver ceph]# ansible-playbook 01-upload-repo.yml
  • 配置名称解析
复制代码 
# 配置三台主机实现名称解析，解析的名字务必与主机实际名字一致
复制代码 
[root@pubserver ceph]# vim 02-modify-hosts.yml
复制代码 
---
复制代码 
- name: add names
复制代码 
  hosts: ceph
复制代码 
  tasks:
复制代码 
    - name: add block
复制代码 
      blockinfile:   # 类似于lineinfile模块，可在目标文件中加多行
复制代码 
        path: /etc/hosts
复制代码 
        block: |
复制代码 
          192.168.88.11 ceph1
复制代码 
          192.168.88.12 ceph2
复制代码 
          192.168.88.13 ceph3
复制代码 
          192.168.88.240 quay.io
复制代码 
[root@pubserver ceph]# ansible-playbook 02-modify-hosts.yml
复制代码 
# 查看结果，以ceph1为例
复制代码 
[root@ceph1 ~]# tail -6 /etc/hosts
复制代码 
# BEGIN ANSIBLE MANAGED BLOCK
复制代码 
192.168.88.11 ceph1
复制代码 
192.168.88.12 ceph2
复制代码 
192.168.88.13 ceph3
复制代码 
192.168.88.240 quay.io
复制代码 
# END ANSIBLE MANAGED BLOCK
  • 配置pubserver为NTP服务器
复制代码 
# 1. 查看pubserver自己的时区，如果时区不正确需要改正
复制代码 
[root@pubserver ~]# timedatectl
复制代码 
[root@pubserver ~]# timedatectl set-timezone Asia/Shanghai
复制代码 
# 2. 查看时间，如果时间不正确，需要调整时间
复制代码 
[root@pubserver ~]# date
复制代码 
[root@pubserver ~]# date -s "年-月-日 时:分:秒"
复制代码 
# 3. 配置chronyd服务
复制代码 
[root@pubserver ~]# yum install -y chrony
复制代码 
[root@pubserver ~]# vim /etc/chrony.conf  # 打开23、26行的注释
复制代码 
...略...
复制代码 
 24 # Allow NTP client access from local network.
复制代码 
 25 allow 192.168.0.0/16  # 为192.168开头的客户端提供时间服务
复制代码 
 26
复制代码 
 27 # Serve time even if not synchronized to a time source.
复制代码 
 28 local stratum 10   # 即使自己没有时间源，也为客户端提供时间服务
复制代码 
...略...
复制代码 
[root@pubserver ~]# systemctl enable chronyd --now
复制代码 
[root@pubserver ~]# ss -ulnp | grep :123  # ntp使用udp 123端口
  • 配置ceph1-ceph3使用pubserver提供的时间服务
复制代码 
[root@pubserver ceph]# vim 03-config-ntp.yml
复制代码 
---
复制代码 
- name: config ntp
复制代码 
  hosts: ceph
复制代码 
  tasks:
复制代码 
    - name: install chrony   # 安装chrony
复制代码 
      yum:
复制代码 
        name: chrony
复制代码 
        state: present
复制代码
复制代码 
    - name: modify config    # 替换以pool开头的行
复制代码 
      lineinfile:
复制代码 
        path: /etc/chrony.conf
复制代码 
        regexp: '^pool'
复制代码 
        line: "pool 192.168.88.240 iburst"
复制代码 
      notify: restart ntp    # 如果该任务的状态是CHANGED，则执行restart ntp任务
复制代码
复制代码 
  handlers:
复制代码 
    - name: restart ntp   # 只有notify通知时，才执行重启任务
复制代码 
      service:
复制代码 
        name: chronyd
复制代码 
        state: restarted
复制代码 
        enabled: yes
复制代码 
[root@pubserver ceph]# ansible-playbook 03-config-ntp.yml
复制代码
复制代码 
# 以ceph1为例，查看结果
复制代码 
[root@ceph1 ~]# chronyc sources -v
复制代码
复制代码 
  .-- Source mode  '^' = server, '=' = peer, '#' = local clock.
复制代码 
 / .- Source state '*' = current best, '+' = combined, '-' = not combined,
复制代码 
| /             'x' = may be in error, '~' = too variable, '?' = unusable.
复制代码 
||                                                 .- xxxx [ yyyy ] +/- zzzz
复制代码 
||      Reachability register (octal) -.           |  xxxx = adjusted offset,
复制代码 
||      Log2(Polling interval) --.      |          |  yyyy = measured offset,
复制代码 
||                                \     |          |  zzzz = estimated error.
复制代码 
||                                 |    |           \
复制代码 
MS Name/IP address         Stratum Poll Reach LastRx Last sample              
复制代码 
===============================================================================
复制代码 
^* 192.168.88.240               10   6    37     4  -8731ns[-6313us] +/- 7118us
  • 准备容器仓库服务器
复制代码 
# 1. 将真机/linux-soft/s2/zzg/ceph_soft/ceph-server/docker-distribution-2.6.2-2.git48294d9.el7.x86_64.rpm拷贝到pubserver的/root目录并安装
复制代码 
[root@pubserver ~]# yum install -y docker-distribution-2.6.2-2.git48294d9.el7.x86_64.rpm
复制代码 
# 2. 启动服务
复制代码 
[root@pubserver ~]# systemctl enable docker-distribution --now
  • 安装软件包，并导入镜像
复制代码 
# 1. 在ceph集群节点上安装软件包
复制代码 
[root@pubserver ceph]# vim 04-install-ceph.yml
复制代码 
---
复制代码 
- name: install pkg
复制代码 
  hosts: ceph
复制代码 
  tasks:
复制代码 
    - name: install pkg    # 安装软件包
复制代码 
      yum:
复制代码 
        name: python39,podman,lvm2
复制代码 
        state: present
复制代码 
[root@pubserver ceph]# ansible-playbook 04-install-ceph.yml
复制代码
复制代码 
# 2. 将真机/linux-soft/s2/zzg/ceph_soft/ceph-server目录拷贝到ceph各节点，并导入镜像
复制代码 
[root@ceph1 ~]# cd ceph-server/
复制代码 
[root@ceph1 ceph-server]# for c in *.tar
复制代码 
> do
复制代码 
> podman load -i $c
复制代码 
> done
复制代码 
[root@ceph2 ~]# cd ceph_soft/
复制代码 
[root@ceph2 ceph-server]# for c in *.tar
复制代码 
> do
复制代码 
> podman load -i $c
复制代码 
> done
复制代码 
[root@ceph3 ~]# cd ceph_soft/
复制代码 
[root@ceph3 ceph-server]# for c in *.tar
复制代码 
> do
复制代码 
> podman load -i $c
复制代码 
> done
复制代码
复制代码 
# 3. 查看执行结果
复制代码 
[root@ceph1 ceph-server]# podman images
复制代码 
REPOSITORY                        TAG         IMAGE ID      CREATED        SIZE
复制代码 
quay.io/ceph/ceph                 v17         cc65afd6173a  7 weeks ago    1.4 GB
复制代码 
quay.io/ceph/ceph-grafana         8.3.5       dad864ee21e9  8 months ago   571 MB
复制代码 
quay.io/prometheus/prometheus     v2.33.4     514e6a882f6e  9 months ago   205 MB
复制代码 
quay.io/prometheus/node-exporter  v1.3.1      1dbe0e931976  12 months ago  22.3 MB
复制代码 
quay.io/prometheus/alertmanager   v0.23.0     ba2b418f427c  15 months ago  58.9 MB
复制代码
复制代码 
# 4. 配置ceph1-ceph3使用pubserver作为仓库服务器
复制代码 
[root@pubserver ceph]# vim 05-config-registry.yml
复制代码 
---
复制代码 
- name: config registry
复制代码 
  hosts: ceph
复制代码 
  tasks:
复制代码 
    - name: modify config
复制代码 
      blockinfile:
复制代码 
        path: /etc/containers/registries.conf
复制代码 
        block: |
复制代码 
          [[registry]]
复制代码 
          location = "quay.io:5000"  # 指定服务器地址
复制代码 
          insecure = true              # 允许使用http协议
复制代码 
[root@pubserver ceph]# ansible-playbook 05-config-registry.yml
复制代码
复制代码 
# 5. 以ceph1为例，查看执行结果
复制代码 
[root@ceph1 ceph_soft]# tail -5 /etc/containers/registries.conf
复制代码 
# BEGIN ANSIBLE MANAGED BLOCK
复制代码 
[[registry]]
复制代码 
location = "quay.io:5000"
复制代码 
insecure = true
复制代码 
# END ANSIBLE MANAGED BLOCK
复制代码
复制代码 
# 5. 修改镜像名称，以便可以将其推送到自建镜像服务器
复制代码 
[root@ceph1 ceph-server]# podman tag quay.io/ceph/ceph:v17 quay.io:5000/ceph/ceph:v17
复制代码 
[root@ceph1 ceph-server]# podman tag quay.io/ceph/ceph-grafana:8.3.5 quay.io:5000/ceph/ceph-grafana:8.3.5
复制代码 
[root@ceph1 ceph-server]# podman tag quay.io/prometheus/prometheus:v2.33.4 quay.io:5000/prometheus/prometheus:v2.33.4
复制代码 
[root@ceph1 ceph-server]# podman tag quay.io/prometheus/node-exporter:v1.3.1 quay.io:5000/prometheus/node-exporter:v1.3.1
复制代码 
[root@ceph1 ceph-server]# podman tag quay.io/prometheus/alertmanager:v0.23.0 quay.io:5000/prometheus/alertmanager:v0.23.0
复制代码
复制代码 
# 6. 将镜像推送到镜像服务器，以便其他节点可以通过服务器下载镜像
复制代码 
[root@ceph1 ceph-server]# podman push quay.io:5000/ceph/ceph:v17
复制代码 
[root@ceph1 ceph-server]# podman push quay.io:5000/ceph/ceph-grafana:8.3.5
复制代码 
[root@ceph1 ceph-server]# podman push quay.io:5000/prometheus/prometheus:v2.33.4
复制代码 
[root@ceph1 ceph-server]# podman push quay.io:5000/prometheus/node-exporter:v1.3.1
复制代码 
[root@ceph1 ceph-server]# podman push quay.io:5000/prometheus/alertmanager:v0.23.0
  • 完成此步骤，给ceph1-ceph3打快照

安装ceph

  • 所有Ceph集群都需要至少一个监视器Monitor，以及至少与存储在集群上的对象副本一样多的OSD。引导初始监视器是部署Ceph存储集群的第一步。
  • Monitor部署还为整个集群设置了重要的标准，例如池的副本数量、每个OSD的放置组数量、心跳间隔、是否需要身份验证等。这些值中的大部分是默认设置的。
  • 创建集群
复制代码 
# 1. 在ceph1上初始化集ceph集群。
复制代码 
# 集群初始化完成后，将自动生成ssh免密密钥，存放在/etc/ceph/目录下
复制代码 
[root@ceph1 ceph-server]# ./cephadm bootstrap --mon-ip 192.168.88.11 --initial-dashboard-password=123456 --dashboard-password-noupdate
复制代码 
# 2. ceph将会以容器化的方式部署，查看生成了6个容器。
复制代码 
[root@ceph1 ceph-server]# podman ps
复制代码
复制代码 
# 3. 拷贝密钥文件至其他节点
复制代码 
[root@ceph1 ceph-server]# ssh-copy-id -f -i /etc/ceph/ceph.pub ceph2
复制代码 
[root@ceph1 ceph-server]# ssh-copy-id -f -i /etc/ceph/ceph.pub ceph3
复制代码
复制代码 
# 4. 进入管理容器，查看ceph状态
复制代码 
[root@ceph1 ceph-server]# ./cephadm shell   # 进入管理容器
复制代码 
[ceph: root@ceph1 /]# ceph -s  # 查看ceph状态
复制代码 
  cluster:
复制代码 
    id:     1ddfccf2-77b4-11ed-8941-000c2953b002
复制代码 
    health: HEALTH_WARN
复制代码 
            OSD count 0 < osd_pool_default_size 3
复制代码
复制代码 
  services:
复制代码 
    mon: 1 daemons, quorum ceph1 (age 11m)
复制代码 
    mgr: ceph1.vnoivz(active, since 10m)
复制代码 
    osd: 0 osds: 0 up, 0 in
复制代码
复制代码 
  data:
复制代码 
    pools:   0 pools, 0 pgs
复制代码 
    objects: 0 objects, 0 B
复制代码 
    usage:   0 B used, 0 B / 0 B avail
复制代码 
    pgs:
复制代码
复制代码 
# 5. 查看相关容器状态，显示所有容器均已启动
复制代码 
[ceph: root@ceph1 /]# ceph orch ls
复制代码 
NAME           PORTS        RUNNING  REFRESHED  AGE  PLACEMENT  
复制代码 
alertmanager   ?:9093,9094      1/1  91s ago    3m   count:1    
复制代码 
crash                           1/3  91s ago    4m   *          
复制代码 
grafana        ?:3000           1/1  91s ago    4m   count:1    
复制代码 
mgr                             1/2  91s ago    4m   count:2    
复制代码 
mon                             1/5  91s ago    4m   count:5    
复制代码 
node-exporter  ?:9100           1/3  91s ago    4m   *          
复制代码 
prometheus     ?:9095           1/1  91s ago    4m   count:1
复制代码
复制代码
复制代码 
# 6. 查看集群中现有主机
复制代码 
[ceph: root@ceph1 /]# ceph orch host ls
复制代码 
HOST   ADDR           LABELS  STATUS  
复制代码 
ceph1  192.168.88.11  _admin          
复制代码 
1 hosts in cluster
复制代码
复制代码 
# 7. 向集群中添加其他主机
复制代码 
[ceph: root@ceph1 /]# ceph orch host add ceph2 192.168.88.12
复制代码 
[ceph: root@ceph1 /]# ceph orch host add ceph3 192.168.88.13
复制代码 
# 注：删除错误的主机命令为：ceph orch host rm 主机名 --force
复制代码
复制代码 
# 8. 查看集群中主机
复制代码 
[ceph: root@ceph1 /]# ceph orch host ls
复制代码 
HOST   ADDR           LABELS  STATUS  
复制代码 
ceph1  192.168.88.11  _admin          
复制代码 
ceph2  192.168.88.12                  
复制代码 
ceph3  192.168.88.13                  
复制代码 
3 hosts in cluster
复制代码
复制代码 
# 9. 扩容MON节点。一共有3台MON，位于ceph1-ceph3
复制代码 
[ceph: root@ceph1 /]# ceph orch apply mon --placement="3 ceph1 ceph2 ceph3"
复制代码
复制代码 
# 10. 查看mon状态
复制代码 
[ceph: root@ceph1 /]# ceph -s
复制代码 
  cluster:
复制代码 
    id:     a4b69ab4-79dd-11ed-ae7b-000c2953b002
复制代码 
    health: HEALTH_WARN
复制代码 
            OSD count 0 < osd_pool_default_size 3
复制代码
复制代码 
  services:
复制代码 
    mon: 3 daemons, quorum ceph1,ceph3,ceph2 (age 2m)
复制代码 
    mgr: ceph1.gmqorm(active, since 15m), standbys: ceph3.giqaph
复制代码 
    osd: 0 osds: 0 up, 0 in
复制代码
复制代码 
  data:
复制代码 
    pools:   0 pools, 0 pgs
复制代码 
    objects: 0 objects, 0 B
复制代码 
    usage:   0 B used, 0 B / 0 B avail
复制代码 
    pgs:    
复制代码
复制代码 
[ceph: root@ceph1 /]# ceph mon stat
复制代码 
e3: 3 mons at {ceph1=[v2:192.168.88.11:3300/0,v1:192.168.88.11:6789/0],ceph2=[v2:192.168.88.12:3300/0,v1:192.168.88.12:6789/0],ceph3=[v2:192.168.88.13:3300/0,v1:192.168.88.13:6789/0]}, election epoch 14, leader 0 ceph1, quorum 0,1,2 ceph1,ceph3,ceph2
复制代码
复制代码 
# 11. ceph2和ceph3上也将会出现相关容器
复制代码 
[root@ceph2 ~]# podman ps
复制代码 
[root@ceph3 ~]# podman ps
  • 添加OSD硬盘
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph1:/dev/vdb
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph1:/dev/vdc
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph1:/dev/vdd
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph2:/dev/vdb
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph2:/dev/vdc
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph2:/dev/vdd
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph3:/dev/vdb
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph3:/dev/vdc
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon add osd ceph3:/dev/vdd
复制代码
复制代码 
# 2. 在节点上查询容器信息，将会发现又有新的osd容器出现
复制代码 
[root@ceph1 ~]# podman ps
复制代码
复制代码 
# 3. 此时ceph的状态将会是HEALTH_OK，ceph集群搭建完成。
复制代码 
[ceph: root@ceph1 /]# ceph -s
复制代码 
  cluster:
复制代码 
    id:     a4b69ab4-79dd-11ed-ae7b-000c2953b002
复制代码 
    health: HEALTH_OK
复制代码
复制代码 
  services:
复制代码 
    mon: 3 daemons, quorum ceph1,ceph3,ceph2 (age 2m)
复制代码 
    mgr: ceph1.gmqorm(active, since 2h), standbys: ceph3.giqaph
复制代码 
    osd: 9 osds: 9 up (since 35s), 9 in (since 59s)
复制代码
复制代码 
  data:
复制代码 
    pools:   1 pools, 1 pgs
复制代码 
    objects: 2 objects, 449 KiB
复制代码 
    usage:   186 MiB used, 180 GiB / 180 GiB avail
复制代码 
    pgs:     1 active+clean

故障排除：

查看服务状态：

复制代码
复制代码 
[ceph: root@ceph1 /]# ceph orch ps

如果有error（比如node-exporter.ceph2），则把相应的服务删除：

复制代码
复制代码 
[ceph: root@ceph1 /]# ceph orch daemon rm node-expoter.ceph2

然后重新配置：

复制代码
复制代码 
[ceph: root@ceph1 /]# daemon reconfig node-exporter.ceph2
复制代码 
# 或
复制代码 
[ceph: root@ceph1 /]# daemon redeploy node-exporter.ceph2

如果是mgr这样的服务出故障，删除后，部署的命令是：

复制代码
复制代码 
[ceph: root@ceph1 /]# daemon reconfig mgr ceph2
复制代码 
# 或
复制代码 
[ceph: root@ceph1 /]# daemon redeploy mgr ceph2

实现块存储

块存储基础

  • 块设备存取数据时，可以一次存取很多。字符设备只能是字符流
复制代码 
[root@ceph1 ~]# ll /dev/sda
复制代码 
brw-rw---- 1 root disk 8, 0 Dec 12 13:15 /dev/sda
复制代码 
# b表示block，块设备
复制代码 
[root@ceph1 ~]# ll /dev/tty
复制代码 
crw-rw-rw- 1 root tty 5, 0 Dec 12 13:31 /dev/tty
复制代码 
# c表示character，字符设备
  • 块存储，就是可以提供像硬盘一样的设备。使用块存储的节点，第一次连接块设备，需要对块设备进行分区、格式化，然后挂载使用。
  • ceph中的块设备叫做rbd，是rados block device的简写，表示ceph的块设备。rados是Reliable, Autonomic Distributed Object Store的简写，意思是"可靠、自主的分布式对象存储"。
  • Ceph块设备采用精简配置，可调整大小，并将数据存储在多个OSD上。
  • ceph提供存储时，需要使用存储池。为了给客户端提供存储资源，需要创建名为存储池的容器。存储池类似于逻辑卷管理中的卷组。卷组中包含很多硬盘和分区；存储池中包含各节点上的硬盘。
  • 查看基础存储池信息
复制代码 
# 查看存储池。默认有一个名为.mgr的存储池，编号为1
复制代码 
[ceph: root@ceph1 /]# ceph osd lspools
复制代码 
1 .mgr
复制代码 
# 查看存储详细使用情况
复制代码 
[ceph: root@ceph1 /]# ceph df
复制代码 
--- RAW STORAGE ---
复制代码 
CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
复制代码 
hdd    180 GiB  180 GiB  187 MiB   187 MiB       0.10
复制代码 
TOTAL  180 GiB  180 GiB  187 MiB   187 MiB       0.10
复制代码
复制代码 
--- POOLS ---
复制代码 
POOL  ID  PGS   STORED  OBJECTS     USED  %USED  MAX AVAIL
复制代码 
.mgr   1    1  449 KiB        2  449 KiB      0     57 GiB
复制代码 
# 查看.mgr存储池的副本数量
复制代码 
[ceph: root@ceph1 /]# ceph osd pool get .mgr size
复制代码 
size: 3
  • 在ceph中，操作块存储的命令也是rbd。
  • 创建存储池。如果不指定操作哪一个存储池，rbd命令将会操作名为rbd的存储池。该存储池不存在，需要自己创建。
复制代码
复制代码
复制代码 
# 不指定存储池名字执行查看操作。提示名为rbd的存储池不存在
复制代码 
[ceph: root@ceph1 /]# rbd ls
复制代码 
rbd: error opening default pool 'rbd'
复制代码 
Ensure that the default pool has been created or specify an alternate pool name.
复制代码 
rbd: listing images failed: (2) No such file or directory

存储池

  • 创建存储池是需要指定存储池中PG的数量。
  • Placement Group简称PG，可翻译为归置组。
  • PG只是一个组而已，用于把存储的对象分组管理。
  • 将数据放入集群时，对象被映射到pg，而这些pg被映射到OSD。这减少了我们需要跟踪的每个对象的元数据的数量以及我们需要运行的进程的数量。
  • 创建并使用存储池
复制代码
复制代码
复制代码 
# 1. 创建名为rbd的存储池
复制代码 
[ceph: root@ceph1 /]# ceph osd pool create rbd 100
复制代码 
pool 'rbd' created
复制代码
复制代码 
# 2. 设置rbd存储池的应用类型是rbd。还可以是rgw或cephfs
复制代码 
# 语法：ceph osd pool application enable <pool-name> <app-name>
复制代码 
[ceph: root@ceph1 /]# ceph osd pool application enable rbd rbd
复制代码 
# 3. 查看
复制代码 
[ceph: root@ceph1 /]# ceph osd pool ls
复制代码 
.mgr
复制代码 
rbd
复制代码 
[ceph: root@ceph1 /]# ceph df
复制代码 
--- RAW STORAGE ---
复制代码 
CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
复制代码 
hdd    180 GiB  180 GiB  191 MiB   191 MiB       0.10
复制代码 
TOTAL  180 GiB  180 GiB  191 MiB   191 MiB       0.10
复制代码
复制代码 
--- POOLS ---
复制代码 
POOL  ID  PGS   STORED  OBJECTS     USED  %USED  MAX AVAIL
复制代码 
.mgr   1    1  897 KiB        2  2.6 MiB      0     57 GiB
复制代码 
rbd    2   99      0 B        0      0 B      0     57 GiB
复制代码
复制代码 
# 4. 执行命令。不指定存储池，默认操作名为rbd的存储池。
复制代码 
[ceph: root@ceph1 /]# rbd ls   # 无输出内容，也不会报错

镜像

  • 在存储池中划分空间提供给客户端作为硬盘使用。
  • 划分出来的空间，术语叫做镜像。
复制代码 
# 1. 查看rbd存储池中有哪些镜像
复制代码 
[ceph: root@ceph1 /]# rbd ls
复制代码
复制代码 
# 2. 创建名为img1的镜像，大小10GB
复制代码 
[ceph: root@ceph1 /]# rbd create img1 --size 10G
复制代码
复制代码 
# 3. 查看存储池中有哪些镜像
复制代码 
[ceph: root@ceph1 /]# rbd ls
复制代码 
img1
复制代码
复制代码 
# 4. 查看镜像详情
复制代码 
[ceph: root@ceph1 /]# rbd info img1
复制代码 
rbd image 'img1':
复制代码 
        size 10 GiB in 2560 objects
复制代码 
...略...
复制代码
复制代码 
# 5. 扩容。容量只是承诺大小，并不会立即分配全部空间，所以值可以超过总容量。
复制代码 
[ceph: root@ceph1 /]# rbd resize img1 --size 200G
复制代码 
Resizing image: 100% complete...done.
复制代码 
[ceph: root@ceph1 /]# rbd info img1
复制代码 
rbd image 'img1':
复制代码 
        size 200 GiB in 51200 objects
复制代码 
...略...
复制代码
复制代码 
# 6. 删除镜像
复制代码 
[ceph: root@ceph1 /]# rbd rm img1
复制代码 
Removing image: 100% complete...done.

ceph客户端

  • 客户端使用ceph块存储需要解决的问题：

    • 怎么用？装软件
    • ceph集群在哪？通过配置文件说明集群地址
    • 权限。keyring文件
复制代码 
# 1. 拷贝/linux-soft/s2/zzg/ceph_soft/cephclient-rpm/目录内所有rpm包到pubserver的/var/ftp/rpms目录
复制代码 
# 2. 更新yum仓库
复制代码 
[root@pubserver ~]# createrepo /var/ftp/rpms/
复制代码 
# 3. 安装ceph客户端软件
复制代码 
[root@client1 ~]# yum install -y ceph-common
复制代码 
# 4. 将ceph1上的配置文件和密钥keyring文件拷贝给客户端
复制代码 
[root@ceph1 ceph_soft]# scp /etc/ceph/ceph.client.admin.keyring /etc/ceph/ceph.conf 192.168.88.10:/etc/ceph/
复制代码 
# 5. 在客户端验证是否可以操作ceph
复制代码 
[root@client1 ~]# rbd create img1 --size 10G
复制代码 
[root@client1 ~]# rbd ls
复制代码 
img1
复制代码 
[root@client1 ~]# rbd info img1
复制代码 
rbd image 'img1':
复制代码 
        size 10 GiB in 2560 objects
复制代码 
...略...
复制代码 
# 6. 将ceph镜像映射为本地硬盘
复制代码 
[root@client1 ~]# rbd map img1
复制代码 
/dev/rbd0    # rbd为固定名称，0是编号
复制代码 
# 7. 查看
复制代码 
[root@client1 ~]# lsblk
复制代码 
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
复制代码 
sda      8:0    0   60G  0 disk
复制代码 
└─sda1   8:1    0   60G  0 part /
复制代码 
sr0     11:0    1 10.5G  0 rom  
复制代码 
rbd0   253:0    0   10G  0 disk   # rbd0来自于ceph镜像
复制代码 
[root@client1 ~]# rbd showmapped  # 镜像img1映射为了本地硬盘rbd0
复制代码 
id  pool  namespace  image  snap  device  
复制代码 
0   rbd              img1   -     /dev/rbd0
复制代码 
# 8. 应用
复制代码 
[root@client1 ~]# mkdir /data
复制代码 
[root@client1 ~]# mkfs.xfs /dev/rbd0
复制代码 
[root@client1 ~]# mount /dev/rbd0 /data/
复制代码 
[root@client1 ~]# df -h /data/
复制代码 
Filesystem      Size  Used Avail Use% Mounted on
复制代码 
/dev/rbd0        10G  105M  9.9G   2% /data
复制代码 
[root@client1 ~]# cp /etc/hosts /data/
复制代码 
[root@client1 ~]# ls /data/
复制代码 
hosts
  • 删除
复制代码 
# 查看img1的状态
复制代码 
[root@client1 ~]# rbd status img1
复制代码 
# 按以下步骤删除img1
复制代码 
[root@client1 ~]# umount /dev/rbd0
复制代码 
[root@client1 ~]# rbd unmap img1
复制代码 
[root@client1 ~]# rbd rm img1
复制代码 
Removing image: 100% complete...done.

知识点思维导图：FlowUs 息流 - 新一代生产力工具

相关推荐
怡雪～1 天前
k8s使用ceph
ceph·容器·kubernetes
怡雪～2 天前
Kubernetes使用Ceph存储
ceph·容器·kubernetes
学Linux的语莫12 天前
负载均衡,高可用,监控服务搭建总结
linux·服务器·分布式·ceph·lvs
运维小文12 天前
cephFS的使用以及K8S对接cephFS
ceph·云原生·容器·kubernetes·对象存储·cephfs
学Linux的语莫16 天前
ceph集群搭建,ceph块存储,文件存储,对象存储
linux·服务器·分布式·ceph
Rverdoser16 天前
K8S对接ceph的RBD块存储
ceph·容器·kubernetes
学Linux的语莫19 天前
Ceph对象存储
linux·运维·服务器·ceph
q_9720 天前
ceph基本概念
ceph
学Linux的语莫21 天前
Ceph文件存储
linux·运维·服务器·网络·ceph
学Linux的语莫21 天前
ceph相关的命令
linux·服务器·ceph
热门推荐
01大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）02Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO03玄机平台应急响应—webshell查杀04电赛2024年H题智能小车基于MSPM0G3507主控MCU（利用8路灰度加上MPU6050的解决方式）具体项目报告05组基轨迹建模 GBTM的介绍与实现（Stata 或 R）06支付宝短视频平台创作分成激励项目07怎么找小红书美食探店博主合作？08【一文读懂】NTN（非地面网络）技术介绍09优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间10校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站