第38讲：Ceph分布式存储集群部署

文章目录

• • 1.Ceph分布式存储集群安装方式
  • 2.Ceph集群环境规划
  • 3.基础环境配置
  • • 3.1.设置主机名以及SSH免密登录
    • [3.2.配置Ceph yum源](#3.2.配置Ceph yum源)
  • 4.部署Ceph分布式存储集群
  • • 4.1.安装Ceph-deploy自动化部署工具
    • 4.2.初始化创建一个Ceph分布集群
    • 4.3.在每个节点中部署Ceph集群所有的组件
    • 4.4.部署并配置Monitor组件
    • • [4.4.1.初始化Ceph Monitor各节点形成集群模式](#4.4.1.初始化Ceph Monitor各节点形成集群模式)
      • [4.4.2.将生成的Monitor admin认证文件推送到集群各节点](#4.4.2.将生成的Monitor admin认证文件推送到集群各节点)
    • 4.5.部署配置Manager组件
    • 4.6.部署配置OSD组件
    • 4.7.在集群中部署MDS组件
    • 4.8.在集群中部署RGW组件
    • 4.9.查看集群状态

1.Ceph分布式存储集群安装方式

ceph-deploy：一个快速部署集群的工具，ceph-deploy不再维护，Ceph采用的是Nautilus版本，如果操作系统是CentOS8那么将不支持ceph-deploy方式的搭建。

Cephadm：使用容器和systemd安装和管理Ceph集群，目前比较流行的部署方式，部署Octopus版本的Ceph建议使用此方法。

ceph-ansible：使用Ansible部署和管理 Ceph 集群。

INSTALLATION (MANUAL)：手动方式安装，了解部署Ceph的细节。

ROOK：部署和管理在Kubernetes中运行的Ceph集群，同时还支持通过Kubernetes API管理存储资源和配置，如果要与K8S集成，可以使用此种方式。

2.Ceph集群环境规划

由三个节点组成Ceph集群，每一个节点中添加两块网卡，一块网卡用于对外提供访问，一块网卡用于集群内部通信，每一个节点上暂时分别有2块网卡，后期做其他配置时再进行添加。

主机名	Poblic通信IP	服务	硬盘
ceph-node-1	192.168.81.70	monitor、osd	sda、sdb
ceph-node-2	192.168.81.80	monitor、osd	sda、sdb
ceph-node-3	192.168.81.90	monitor、osd	sda、sdb

3.基础环境配置

3.1.设置主机名以及SSH免密登录

所有节点都按如下进行配置。

1）设置主机名并配置Hosts解析

[root@localhost ~]# hostnamectl set-hostname ceph-node-1
[root@localhost ~]# hostnamectl set-hostname ceph-node-2
[root@localhost ~]# hostnamectl set-hostname ceph-node-3

# vim /etc/hosts
192.168.81.70 ceph-node-1
192.168.81.80 ceph-node-2
192.168.81.90 ceph-node-3

2）设置ssh免密登陆

# ssh-keygen 
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.81.70
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.81.80
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.81.90

3）关闭防火墙以及Selinux

# systemctl stop firewalld
# systemctl disable firewalld
# setenforce 0
# sed -ri '/^SELINUX/c SELINUX=disabled' /etc/sysconfig/selinux 
# sed -ri '/^SELINUX/c SELINUX=disabled' /etc/selinux/config 

4）设置ntp时间同步

在Ceph集群中非常注重时间信息，如果时间不同步，那么集群通信就可能会出现问题。

# yum -y install ntp
# crontab -e
*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com

3.2.配置Ceph yum源

所有节点都需要配置。

1）使用阿里云镜像源

阿里云镜像源中提供了很多工具的yum源，地址：https://developer.aliyun.com/mirror/

2）配置Centos7的Base与Epel源

# mkdir /etc/yum.repos.d/back
# mv /etc/yum.repos.d/*  /etc/yum.repos.d/back
# curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo 
# curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

3）配置Ceph的镜像源

需要分布配置noarch与x86_64的镜像源。

# vim /etc/yum.repos.d/ceph.repo
[noarch]
name=noarch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=0

[x86_64]
name=x86_64
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=0

4.部署Ceph分布式存储集群

4.1.安装Ceph-deploy自动化部署工具

我们的Ceph集群采用ceph-deploy的方式进行安装和部署，在集群中任意节点中安装ceph-deploy工具即可。

1.安装依赖的python软件
[root@ceph-node-1 ~]# yum -y install python-setuptools

2.安装ceph-deploy
[root@ceph-node-1 ~]# yum -y install ceph-deploy

3.查看ceph-deploy安装的版本
[root@ceph-node-1 ~]# ceph-deploy --version
2.0.1

4.2.初始化创建一个Ceph分布集群

这一步主要是用来生成集群配置文件和认证文件的。

1.创建一个目录存放部署各个组件的配置文件
[root@ceph-node-1 ~]# mkdir /data/ceph-deploy/

2.创建一个ceph集群，集群节点数建议是奇数
[root@ceph-node-1 ceph-deploy]# ceph-deploy new --public-network 192.168.81.0/24 --cluster-network 192.168.81.0/24 ceph-node-1 ceph-node-2 ceph-node-3


--public-network：指定公共网络地址，也就是对外提供服务的地址。
--cluster-network：指定集群内部使用的网络地址，集群连接通信通过这个网络进行通信。

3.查看ceph-deploy生成的集群配置文件
[root@ceph-node-1 ceph-deploy]# ll
总用量 12
-rw-r--r--. 1 root root  264 3月  30 21:06 ceph.conf				#配置文件
-rw-r--r--. 1 root root 3038 3月  30 21:06 ceph-deploy-ceph.log		#日志文件，可以查看monitor配置文件的生成过程
-rw-------. 1 root root   73 3月  30 21:06 ceph.mon.keyring			#认证文件
#如果创建集群时没有指定参数，则可以在生成的文件中进行配置。
[root@ceph-node-1 ceph-deploy]# cat ceph.conf
[global]
fsid = 25c120bc-ac9e-440e-8120-89ba5c2b9dc9
public_network = 192.168.81.0/24
cluster_network = 192.168.81.0/24
mon_initial_members = ceph-node-1, ceph-node-2, ceph-node-3
mon_host = 192.168.81.250,192.168.81.220,192.168.81.160
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

4.3.在每个节点中部署Ceph集群所有的组件

1.安装ceph集群各组件
[root@ceph-node-1 ceph-deploy]# yum -y install ceph ceph-mon ceph-mgr ceph-radosgw ceph-mds
[root@ceph-node-2 ~]# yum -y install ceph ceph-mon ceph-mgr ceph-radosgw ceph-mds
[root@ceph-node-3 ~]# yum -y install ceph ceph-mon ceph-mgr ceph-radosgw ceph-mds

2.安装完成后会在/var/lib/ceph生成文件
[root@ceph-node-1 ceph-deploy]# ll /var/lib/ceph/
总用量 0
drwxr-x---. 2 ceph ceph  6 6月  30 2021 bootstrap-mds
drwxr-x---. 2 ceph ceph  6 6月  30 2021 bootstrap-mgr
drwxr-x---. 2 ceph ceph  6 6月  30 2021 bootstrap-osd
drwxr-x---. 2 ceph ceph  6 6月  30 2021 bootstrap-rbd
drwxr-x---. 2 ceph ceph  6 6月  30 2021 bootstrap-rbd-mirror
drwxr-x---. 2 ceph ceph  6 6月  30 2021 bootstrap-rgw
drwxr-x---. 3 ceph ceph 20 3月  30 21:46 crash
drwxr-x---. 2 ceph ceph  6 6月  30 2021 mds
drwxr-x---. 2 ceph ceph  6 6月  30 2021 mgr
drwxr-x---. 3 ceph ceph 25 3月  30 21:52 mon
drwxr-x---. 2 ceph ceph  6 6月  30 2021 osd
drwxr-xr-x. 2 root root  6 6月  30 2021 radosgw
drwxr-x---. 2 ceph ceph  6 3月  30 21:53 tmp

3.查看ceph的版本
[root@ceph-node-1 ceph-deploy]# ceph -v
ceph version 14.2.22 (ca74598065096e6fcbd8433c8779a2be0c889351) nautilus (stable)

4.4.部署并配置Monitor组件

4.4.1.初始化Ceph Monitor各节点形成集群模式

初始化Monitor组件需要先安装Monitor组件包，然后利用ceph-deploy工具根据生成的集群配置文件，初始化各个节点中的Monitor组件，形成集群模式，初始化完Monitor组件会在/etc/ceph目录中成一些配置文件和一些key文件，并启动Monitor组件。

1.初始化Monitor
[root@ceph-node-1 ceph-deploy]# ceph-deploy mon create-initial 
#初始化的时候会对集群中所有的节点都进行操作

2.查看生成的配置文件
#配置文件
[root@ceph-node-1 ceph-deploy]# ll /etc/ceph/
总用量 8
-rw-r--r--. 1 root root 264 3月  30 21:53 ceph.conf
-rw-r--r--. 1 root root  92 6月  30 2021 rbdmap
-rw-------. 1 root root   0 3月  30 21:52 tmpdpAGYU
#key文件
[root@ceph-node-1 ceph-deploy]# ll
总用量 48
-rw-------. 1 root root   113 3月  30 21:53 ceph.bootstrap-mds.keyring
-rw-------. 1 root root   113 3月  30 21:53 ceph.bootstrap-mgr.keyring
-rw-------. 1 root root   113 3月  30 21:53 ceph.bootstrap-osd.keyring
-rw-------. 1 root root   113 3月  30 21:53 ceph.bootstrap-rgw.keyring
-rw-------. 1 root root   151 3月  30 21:53 ceph.client.admin.keyring
-rw-r--r--. 1 root root   264 3月  30 21:06 ceph.conf
-rw-r--r--. 1 root root 18651 3月  30 21:53 ceph-deploy-ceph.log
-rw-------. 1 root root    73 3月  30 21:06 ceph.mon.keyring

3.查看ceph进程，此时每个节点都会起到mon组件
[root@ceph-node-1 ceph-deploy]# ps aux | grep ceph
root       25265  0.0  0.4 189132  9172 ?        Ss   21:46   0:00 /usr/bin/python2.7 /usr/bin/ceph-crash
ceph       26057  0.2  1.7 503888 33728 ?        Ssl  21:53   0:00 /usr/bin/ceph-mon -f --cluster ceph --id ceph-node-1 --setuser ceph --setgroup ceph

4.4.2.将生成的Monitor admin认证文件推送到集群各节点

Monitor组件初始化完成后，还需要将ceph.client.admin.keyring这个admin的认证文件推送到节点的/etc/ceph目录下，否则无法执行ceph命令查看集群信息。

推送完成后再将ceph集群的不安全模式禁用，否则查看集群信息时会提示"mon允许不安全的global_id回收"。

1.推送admin认证文件
[root@ceph-node-1 ceph-deploy]# ceph-deploy admin ceph-node-1 ceph-node-2 ceph-node-3

#如果现在想要在其他的节点中执行ceph命令，则可以将admin文件推送到其他的节点。

2.查看推送过来的文件
[root@ceph-node-1 ceph-deploy]# ll /etc/ceph/
总用量 12
-rw-------. 1 root root 151 3月  30 22:00 ceph.client.admin.keyring
-rw-r--r--. 1 root root 264 3月  30 22:00 ceph.conf
-rw-r--r--. 1 root root  92 6月  30 2021 rbdmap
-rw-------. 1 root root   0 3月  30 21:52 tmpdpAGYU

3.禁用ceph的不安全模式
[root@ceph-node-1 ceph-deploy]# ceph config set mon auth_allow_insecure_global_id_reclaim false
#如果不关闭的话，查看集群信息的时候会提示mon is allowing insecure global_id reclaim

4.查看ceph集群的信息
[root@ceph-node-1 ceph-deploy]# ceph -s
  cluster:
    id:     25c120bc-ac9e-440e-8120-89ba5c2b9dc9			#集群的ID
    health: HEALTH_OK									  #集群的健康状态
 
  services:
    mon: 3 daemons, quorum ceph-node-1,ceph-node-2,ceph-node-3 (age 3m)					#monitor组件的节点
    mgr: no daemons active								  #mgr节点，现在换没有mgr
    osd: 0 osds: 0 up, 0 in								  #osd节点
 
  data:													#资源池信息
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:     

4.5.部署配置Manager组件

Manager组件是监控组件，在集群中所有的节点中部署。

**注意：**ceph-deploy命令生成的只是配置文件和启动该组件，执行该命令前需要实际的将ceph-mgr包安装好。

1.安装manager组件
[root@ceph-node-1 ceph-deploy]# ceph-deploy mgr create ceph-node-1 ceph-node-2 ceph-node-3

2.查看mgr组件启动的进程
[root@ceph-node-1 ceph-deploy]# ps aux | grep mgr
ceph       19530 11.7  6.5 1033180 121880 ?      Ssl  11:39   0:01 /usr/bin/ceph-mgr -f --cluster ceph --id ceph-node-1 --setuser ceph --setgroup ceph

3.再次查看集群的状态
[root@ceph-node-1 ceph-deploy]# ceph -s
  cluster:
    id:     25c120bc-ac9e-440e-8120-89ba5c2b9dc9
    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3
 
  services:
    mon: 3 daemons, quorum ceph-node-3,ceph-node-2,ceph-node-1 (age 3m)
    mgr: ceph-node-1(active, since 36s), standbys: ceph-node-2, ceph-node-3		#可以看到mgr已经有三个节点了
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:  

4.6.部署配置OSD组件

OSD组件是真正存储数据的组件，需要与磁盘关联，每一个OSD组件需要关联至少一块磁盘。

OSD关联数据盘有两种方式：

• --data指定数据盘，数据直接落入盘中。
• --journal配合ssd磁盘，首先将数据写入journal，然后在刷到磁盘里，起到一个加速的作用。

OSD组件在前面已经安装过了，下面来配置OSD，将服务器中的两块硬盘都加入到OSD集群中。

ceph-deploy工具一次只能将一个磁盘创建成OSD。

1.将ceph-node-1节点的/dev/sdb、/dev/sdc磁盘加入到osd中
[root@ceph-node-1 ceph-deploy]# ceph-deploy osd create ceph-node-1 --data /dev/sdb
[root@ceph-node-1 ceph-deploy]# ceph-deploy osd create ceph-node-1 --data /dev/sdc


2.将ceph-node-2节点的/dev/sdb、/dev/sdc磁盘加入到osd中
[root@ceph-node-1 ceph-deploy]# ceph-deploy osd create ceph-node-2 --data /dev/sdb
[root@ceph-node-1 ceph-deploy]# ceph-deploy osd create ceph-node-2 --data /dev/sdc

3.将ceph-node-3节点的/dev/sdb、/dev/sdc磁盘加入到osd中
[root@ceph-node-1 ceph-deploy]# ceph-deploy osd create ceph-node-3 --data /dev/sdb
[root@ceph-node-1 ceph-deploy]# ceph-deploy osd create ceph-node-3 --data /dev/sdc

OSD创建过程中，会自动配置指定的磁盘，并且启动OSD程序。

4.集群创建完OSD之后再次查看集群的状态
[root@ceph-node-1 ceph-deploy]# ceph -s
  cluster:
    id:     25c120bc-ac9e-440e-8120-89ba5c2b9dc9
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph-node-3,ceph-node-2,ceph-node-1 (age 15m)
    mgr: ceph-node-1(active, since 12m), standbys: ceph-node-2, ceph-node-3
    osd: 6 osds: 6 up (since 66s), 6 in (since 66s)				#显示集群中当下有3个OSD
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   6.0 GiB used, 54 GiB / 60 GiB avail
    pgs: 
    
5.查看OSD的详细信息
[root@ceph-node-1 ceph-deploy]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME            STATUS REWEIGHT PRI-AFF 
-1       0.05878 root default                                 
-3       0.01959     host ceph-node-1                         
 0   hdd 0.00980         osd.0            up  1.00000 1.00000 
 4   hdd 0.00980         osd.4            up  1.00000 1.00000 
-5       0.01959     host ceph-node-2                         
 1   hdd 0.00980         osd.1            up  1.00000 1.00000 
 5   hdd 0.00980         osd.5            up  1.00000 1.00000 
-7       0.01959     host ceph-node-3                         
 2   hdd 0.00980         osd.2            up  1.00000 1.00000 
 3   hdd 0.00980         osd.3            up  1.00000 1.00000 
 #会显示出每一个节点中的OSD信息

4.7.在集群中部署MDS组件

事先一定要将MDS组件在集群中安装好，然后使用ceph-deploy工具配置MDS组件。

[root@ceph-node-1 ceph-deploy]# ceph-deploy mds create ceph-node-1 ceph-node-2 ceph-node-3

[root@ceph-node-1 ceph-deploy]# ceph -s
  cluster:
    id:     25c120bc-ac9e-440e-8120-89ba5c2b9dc9
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph-node-3,ceph-node-2,ceph-node-1 (age 2h)
    mgr: ceph-node-1(active, since 2h), standbys: ceph-node-2, ceph-node-3
    mds:  3 up:standby					#MDS组件准备就绪
    osd: 6 osds: 6 up (since 2h), 6 in (since 2h)
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   6.0 GiB used, 54 GiB / 60 GiB avail
    pgs:  

4.8.在集群中部署RGW组件

部署好的RGW组件都有单独的访问地址，可以配置Keepalived+nginx/haproxy形成高可用集群。

[root@ceph-node-1 ceph-deploy]# ceph-deploy rgw create ceph-node-1 ceph-node-2 ceph-node-3

4.9.查看集群状态

到此为止Ceph集群搭建完毕。