一 . CephFS文件系统MDS接口

CephFS（Ceph文件系统）是Ceph存储集群中用于支持分布式文件存储的组件。
MDS（Metadata Server）是CephFS的元数据服务器，它负责管理文件系统的元数据，包括目录结构、文件属性和权限等信息。
CephFS的MDS接口允许用户通过客户端与MDS服务器进行交互，实现对文件系统的访问和管理。
MDS接口提供了一系列命令和API，用于创建、删除、移动和修改文件和目录、设置权限和ACL、查询文件和目录属性等操作。
通过MDS接口，用户可以以类似于传统文件系统的方式操作CephFS。
用户可以使用标准的文件系统操作命令（比如ls、cp、mv等）或者调用相应的API，通过MDS服务器访问和管理文件系统中的数据。
MDS接口还支持并发访问和多客户端操作，确保数据的一致性和安全性。

总的来说，CephFS的MDS接口提供了用户与Ceph存储集群中的元数据服务器进行交互的方式，实现对分布式文件系统的访问和管理。

通过MDS接口，用户可以实现对文件和目录的增删改查操作，并确保数据的可靠性和一致性。

二. 创建CephFS文件系统MDS接口

1. 服务端操作

Step1 在管理节点创建 mds 服务

bash 复制代码

cd /etc/ceph
ceph-deploy mds create node01 node02 node03

Step2 查看各个节点的 mds 服务

java 复制代码

ssh root@node01 systemctl status ceph-mds@node01
ssh root@node02 systemctl status ceph-mds@node02
ssh root@node03 systemctl status ceph-mds@node03

Step3 创建存储池，启用 ceph 文件系统

ceph 文件系统至少需要两个 rados 池，一个用于存储数据，一个用于存储元数据。

此时数据池就类似于文件系统的共享目录。

bash 复制代码

ceph osd pool create cephfs_data 128	#创建数据Pool

ceph osd pool create cephfs_metadata 128	#创建元数据Pool

csharp 复制代码

#创建 cephfs
#命令格式：ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>

ceph fs new mycephfs cephfs_metadata cephfs_data	
#启用ceph，元数据Pool在前，数据Pool在后



创建了一个新的 CephFS 文件系统，并为其分配了两个池（pool）来存储元数据和数据。
元数据池（metadata pool）的 pool ID 是 3，数据池（data pool）的 pool ID 是 2。

bash 复制代码

ceph fs ls				#查看cephfs

Step4 查看mds状态

一个up，其余两个待命，目前的工作的是node01上的mds服务

ceph -s

Step5 创建用户

xml 复制代码

#语法格式
ceph fs authorize  <fs_name>  client.<client_id>  <path-in-cephfs>  rw

bash 复制代码

#账户为 client.zhangsan
#用户 name 为 zhangsan
#zhangsan 对ceph文件系统的 / 根目录（注意不是操作系统的根目录）有读写权限
ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring

# 账户为 client.lisi
#用户 name 为 lisi
#lisi 对文件系统的 / 根目录只有读权限，对文件系统的根目录的子目录 /test 有读写权限
ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring

3.2 客户端操作

Step1 在客户端创建工作目录

客户端要在 public 网络内。

bash 复制代码

mkdir /etc/ceph

Step2 向客户端拷贝相关文件

在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 zhangsan.keyring、lisi.keyring

ruby 复制代码

scp ceph.conf zhangsan.keyring lisi.keyring root@client:/etc/ceph

Step3 在客户端安装 ceph 软件包

bash 复制代码

cd /opt
wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate

rpm -ivh ceph-release-1-1.el7.noarch.rpm


yum install -y ceph

Step4 在客户端制作秘钥文件

bash 复制代码

cd /etc/ceph
ceph-authtool -n client.zhangsan -p zhangsan.keyring > zhangsan.key			#把 zhangsan 用户的秘钥导出到 zhangsan.keyl

ceph-authtool -n client.lisi -p lisi.keyring > lisi.key						#把 lisi 用户的秘钥导出到 lisi.key

Step5 客户端挂载

方式一：基于内核

bash 复制代码

语法格式：
mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secret=<秘钥>
mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secretfile=<秘钥文件>

示例一：
mkdir -p /data/zhangsan
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/zhangsan -o name=zhangsan,secretfile=/etc/ceph/zhangsan.key

示例二：
mkdir -p /data/lisi
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/lisi -o name=lisi,secretfile=/etc/ceph/lisi.key

#验证用户权限
cd /data/lisi
echo 123 > 2.txt
-bash：2.txt：权限不够

echo 123 > test/2.txt
cat test/2.txt
123

示例三：
#停掉 node02 上的 mds 服务
ssh root@node02 "systemctl stop ceph-mds@node02"

ceph -s

#测试客户端的挂载点仍然是可以用的，如果停掉所有的 mds，客户端就不能用了

方式二：基于 fuse 工具

1）将管理员密钥文件ceph.client.admin.keyring拷贝给客户端

ruby 复制代码

scp ceph.client.admin.keyring root@client:/etc/ceph

2）在客户端安装 ceph-fuse

yum install -y ceph-fuse

3）客户端挂载

挂载时，如果挂载点不为空会挂载失败,指定 -o nonempty 可以忽略。

bash 复制代码

mkdir -p /data/aa 

cd /data/aa

ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa 		

本地文件系统访问和llc操作 Ceph 存储集群中的文件和目录

#starting ceph client 表示 Ceph 客户端正在启动，即将连接到 Ceph 存储集群。
#starting fuse 表示 FUSE 客户端正在启动，并准备挂载 CephFS

三、Ceph 块存储系统 RBD 接口

3.1 RBD接口简介

Ceph 块存储系统(RBD)提供了一种与Ceph集群交互的接口，使用户可以在分布式存储环境中使用块设备。
RBD接口可以让用户创建、映射、快照、克隆和删除RBD镜像，就像使用本地块设备一样。
通过RBD接口，用户可以将Ceph集群中的存储资源虚拟化为块设备，从而为应用程序提供高性能、高可用性和可扩展性。
用户可以通过RBD接口操作RBD镜像，实现诸如数据备份、迁移和卷管理等功能。
通过这些协议，用户可以通过网络访问和管理RBD镜像，从而实现分布式存储的灵活性和可伸缩性。

3.2 使用 RBD 的两种方式

通过内核模块KRBD将镜像映射为系统本地块设备，通常设置文件一般为：/dev/rbd*
另一种是通过librbd接口，通常KVM虚拟机使用这种接口。

3.3 镜像管理

3.3.1在服务端上配置RBD

1.在管理服务器创建一个名为rbd-demo 的专门用于 RBD 的存储池

lua 复制代码

ceph osd pool create rbd-demo 64 64

2、将存储池转换为 RBD 模式

bash 复制代码

ceph osd pool application enable rbd-demo rbd

3、初始化存储池

css 复制代码

rbd pool init -p rbd-demo			
# -p 等同于 --pool

4.创建镜像

css 复制代码

rbd create -p rbd-demo --image rbd-demo1.img --size 10G

可简写为：
rbd create rbd-demo/rbd-demo1.img --size 10G

3.3.1 查看

bash 复制代码

#查看存储池下存在哪些镜像
rbd ls -l -p rbd-demo

yaml 复制代码

#查看镜像的详细信息
rbd info -p rbd-demo --image rbd-demo1.img
rbd image 'rbd-demo.img':
	size 10 GiB in 2560 objects	
	#镜像的大小与被分割成的条带数
	order 22 (4 MiB objects)	
	#条带的编号，有效范围是12到25，对应4K到32M，而22代表2的22次方，这样刚好是4M
	snapshot_count: 0
	id: 5fc98fe1f304									#镜像的ID标识
	block_name_prefix: rbd_data.5fc98fe1f304			#名称前缀
	format: 2											#使用的镜像格式，默认为2
	features: layering, exclusive-lock, object-map, fast-diff, deep-flatten			#当前镜像的功能特性
	op_features: 																	#可选的功能特性
	flags:

3.3.2 修改镜像大小

css 复制代码

#修改镜像大小

rbd resize -p rbd-demo --image rbd-demo1.img --size 20G

rbd info -p rbd-demo --image rbd-demo1.img

css 复制代码

#使用 resize 调整镜像大小，一般建议只增不减，如果是减少的话需要加选项 --allow-shrink
rbd resize -p rbd-demo --image rbd-demo1.img --size 5G --allow-shrink

3.3.3 删除镜像

bash 复制代码

#直接删除镜像
rbd rm -p rbd-demo --image rbd-demo2.img
rbd remove rbd-demo/rbd-demo2.img

#推荐使用 trash 命令，这个命令删除是将镜像移动至回收站，如果想找回还可以恢复
rbd trash move rbd-demo/rbd-demo1.img

rbd ls -l -p rbd-demo

rbd trash list -p rbd-demo
5fc98fe1f304 rbd-demo1.img


#还原镜像
rbd trash restore rbd-demo/5fc98fe1f304

rbd ls -l -p rbd-demo

3.4.在客户端使用RBD

本例主要是使用Linux客户端挂载RBD镜像为本地磁盘使用。开始之前需要在所需要客户端节点上面安装ceph-common软件包，因为客户端需要调用rbd命令将RBD镜像映射到本地当作一块普通硬盘使用。并还需要把ceph.conf配置文件和授权keyring文件复制到对应的节点。

1.在管理节点创建并授权一个用户可访问指定的 RBD 存储池 #示例，指定用户标识为client.osd-mount，对另对OSD有所有的权限，对Mon有只读的权限

javascript 复制代码

ceph auth get-or-create client.osd-mount osd "allow * pool=rbd-demo" mon "allow r" > /etc/ceph/ceph.client.osd-mount.keyring

2.修改RBD镜像特性，CentOS7默认情况下只支持layering和striping特性，需要将其它的特性关闭

bash 复制代码

rbd feature disable rbd-demo/rbd-demo1.img object-map,fast-diff,deep-flatten

3.将用户的keyring文件和ceph.conf文件发送到客户端的/etc/ceph目录下

ruby 复制代码

scp ceph.client.osd-mount.keyring ceph.conf root@client:/etc/ceph

4.在linux客户端操作

安装 ceph-common 软件包
yum install -y ceph-common

5.执行客户端映射

bash 复制代码

cd /etc/ceph
rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount

#查看映射
rbd showmapped
rbd device list

6.格式化并挂载,就可以正常使用了

bash 复制代码

mkfs.xfs /dev/rbd0

mkdir -p /data/lzq
mount /dev/rbd0 /data/lzq

7.在线扩容

css 复制代码

在管理节点调整镜像的大小
rbd resize rbd-demo/rbd-demo1.img --size 30G

bash 复制代码

在客户端刷新设备文件
xfs_growfs /dev/rbd0		
#刷新xfs文件系统容量

resize2fs /dev/rbd0			
#刷新ext4类型文件系统容量

3.5 快照管理

对RBD镜像进行快照，可以保留镜像的状态历史，另外还可以利用快照的分层技术，通过将快照克隆为新的镜像使用。

typescript 复制代码

在客户端写入文件
[root@client ceph]#echo 1111 > /data/lzq/11
[root@client ceph]#echo 222 > /data/lzq/22
[root@client ceph]#echo 233 > /data/lzq/33

3.4.1 创建快照

css 复制代码

rbd snap create --pool rbd-demo --image rbd-demo1.img --snap demo1_snap1

#可简写
rbd snap create rbd-demo/rbd-demo1.img@demo1_snap1

3.4.2 删除快照

bash 复制代码

#删除指定快照：
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap1

#删除所有快照：
rbd snap purge rbd-demo/rbd-demo1.img

3.4.3 回滚到指定快照

sql 复制代码

rbd snap rollback rbd-demo/rbd-demo1.img@demo1_snap1

sql 复制代码

在管理节点操作
rbd snap rollback rbd-demo/rbd-demo1.img@demo1_snap1

bash 复制代码

在我们的客户端进行重新挂载
rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount
mount /dev/rbd0 /data/lzq
ls /data/lzq				#发现数据还原回来了

3.4.4 限制镜像可创建快照数

bash 复制代码

#限制镜像可创建快照数
rbd snap limit set rbd-demo/rbd-demo1.img --limit 3

#解除限制：
rbd snap limit clear rbd-demo/rbd-demo1.img

3.4.4 快照分层（快照克隆）

快照分层支持用快照的克隆生成新镜像，这种镜像与直接创建的镜像几乎完全一样，支持镜像的所有操作。

唯一不同的是克隆镜像引用了一个只读的上游快照，而且此快照必须要设置保护模式。

1）将上游快照设置为保护模式

sql 复制代码

rbd snap create rbd-demo/rbd-demo1.img@demo1_snap666

rbd snap protect rbd-demo/rbd-demo1.img@demo1_snap666

2）克隆快照为新的镜像

bash 复制代码

rbd clone rbd-demo/rbd-demo1.img@demo1_snap666 --dest rbd-demo/rbd-demo666.img

rbd ls -p rbd-demo

3）命令查看克隆完成后快照的子镜像

bash 复制代码

rbd children rbd-demo/rbd-demo1.img@demo1_snap666

3.4.5 快照展平

通常情况下通过快照克隆而得到的镜像会保留对父快照的引用，这时候不可以删除该父快照，否则会有影响。

如果要删除快照但想保留其子镜像，必须先展平其子镜像，展平的时间取决于镜像的大小

bash 复制代码

#直接删除
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap666
#报错 snapshot 'demo1_snap666' is protected from removal.

bash 复制代码

如果要删除快照但想保留其子镜像，必须先展平其子镜像，展平的时间取决于镜像的大小

展平子镜像
rbd flatten rbd-demo/rbd-demo666.img

取消快照保护
rbd snap unprotect rbd-demo/rbd-demo1.img@demo1_snap666

删除快照
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap666

rbd ls -l -p rbd-demo

3.4.6镜像的导出导入

bash 复制代码

卸载客户端挂载，并取消映射
umount /data/bb
rbd unmap rbd-demo/rbd-demo1.img

bash 复制代码

在管理端操作
导出镜像
rbd export rbd-demo/rbd-demo1.img  /opt/rbd-demo1.img

bash 复制代码

清除镜像下的所有快照，并删除镜像
rbd snap purge rbd-demo/rbd-demo1.img
rbd rm rbd-demo/rbd-demo1.img

rbd ls -l -p rbd-demo

bash 复制代码

导入镜像
rbd import /opt/rbd-demo1.img  rbd-demo/rbd-demo1.img

rbd ls -l -p rbd-demo

四、创建 Ceph 对象存储系统 RGW 接口

4.1对象存储的概念

对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。不同于其他数据存储方法，基于对象的存储不使用目录树。

4.2 部署流程

1.创建 RGW 接口如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作为对象存储（Object Storage）使用，类于阿里云OSS。

bash 复制代码

在管理节点创建一个 RGW 守护进程（生产环境下此进程一般需要高可用，后续介绍）
cd /etc/ceph
ceph-deploy rgw create node01

ceph -s

2.要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书

csharp 复制代码

生成CA证书私钥：
openssl genrsa -out civetweb.key 2048

vbnet 复制代码

生成CA证书公钥：
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.223.101"

bash 复制代码

将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

3.修改我们的ceph配置文件

ini 复制代码

vim ceph.conf
......
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"

4.将我们的配置文件同步到node01，node02，node03上面

arduino 复制代码

ceph-deploy --overwrite-conf config push node01 node02 node03

bash 复制代码

将证书发送给node01
scp civetweb.pem node01:`pwd`

重启服务mgr服务与radogw

systemctl restart ceph-mgr*

systemctl restart ceph-radosgw*

perl 复制代码

在 rgw 节点上查看端口
netstat -lntp | grep -w 80
netstat -lntp | grep 443

如果发现还是找不到端口就去管理服务器查看健康状态是否为ok

5.创建RadosGW 账户

在管理节点使用 radosgw-admin 命令创建 RadosGW 账户

ini 复制代码

radosgw-admin user create --uid="rgwuser" --display-name="rgw test user"

radosgw-admin user info --uid="rgwuser"
#这个命令可以之后进行查看

json 复制代码

"keys": [
        {
            "user": "rgwuser",
            "access_key": "ZENGGL2AYEIQ6GWMSPIJ",
            "secret_key": "EGEUdXCt30EfSin6w5oeZmKZvCoF4sC5p5rj3NwW"
        }
    ],

6.在客户端安装 python3、python3-pip

yum install -y python3 python3-pip

7.安装 boto 模块，用于测试连接 S3

ruby 复制代码

pip3 install boto -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

#使用阿里源安装，官方源太卡

8.测试访问 S3 接口

bash 复制代码

echo 123123 > /opt/abc.txt

9.将我们的测试脚本拖进来

10.修改我们的这个测试文件

11.创建存储桶bucket01

12 获得一个存储桶并查看一个bucket下的文件

13.上传文件

14.上传字符串

15.删除存储桶

五.OSD 故障模拟与恢复

5.1 模拟 OSD 故障

如果 ceph 集群有上千个 osd，每天坏 2~3 个太正常了，我们可以模拟 down 掉一个 osd

#如果 osd 守护进程正常运行，down 的 osd 会很快自恢复正常，所以需要先关闭守护进程

kotlin 复制代码

在node1上操作
ssh root@node01 systemctl stop ceph-osd@0

arduino 复制代码

#down 掉 osd
ceph osd down 0

ceph osd tree

5.2 故障恢复

csharp 复制代码

#方法一

ceph osd out osd.0
#将 osd.0 移出集群，集群会开始自动同步数据

ceph osd crush remove osd.0
#将 osd.0 移除 crushmap

bash 复制代码

#删除守护进程对应的账户信息
ceph auth rm osd.0

ceph auth list

#删掉 osd.0
ceph osd rm osd.0

bash 复制代码

ceph osd stat
ceph -s

csharp 复制代码

#方法二

#将 osd.0剥离出Ceph集群
ceph osd out osd.0

#彻底从 Ceph 存储集群中永久删除 osd.0 
ceph osd purge osd.0 --yes-i-really-mean-it

5.3 把原来坏掉的 osd 修复后重新加入集群

bash 复制代码

#在 osd 节点创建 osd，无需指定名，会按序号自动生成
cd /etc/ceph

ceph osd create

bash 复制代码

#创建账户
ceph-authtool --create-keyring /etc/ceph/ceph.osd.0.keyring --gen-key -n osd.0 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'

#导入新的账户秘钥
ceph auth import -i /etc/ceph/ceph.osd.0.keyring

ceph auth list

csharp 复制代码

ceph auth get-or-create osd.0 -o /var/lib/ceph/osd/ceph-0/keyring
#更新对应的 osd 文件夹中的密钥环文件

ceph osd crush add osd.0 1.000 host=node01		#1.000 代表权重
#加入 crushmap

ceph osd in osd.0
#加入集群

ceph osd tree

5.4 重启守护进程，观察故障是否恢复

perl 复制代码

systemctl restart ceph-osd@0
#重启 osd 守护进程

ceph osd tree		#稍等片刻后 osd 状态为 up

5.5 重启失败的解决方案（补充）

perl 复制代码

#报错
Job for ceph-osd@0.service failed because start of the service was attempted too often. See "systemctl  status ceph-osd@0.service" and "journalctl -xe" for details.

perl 复制代码

To force a start use "systemctl reset-failed ceph-osd@0.service" followed by "systemctl start ceph-osd@0.service" again.

#运行
systemctl reset-failed ceph-osd@0.service && systemctl restart ceph-osd@0.service

Cephz资源池pool管理文件系统、块存储系统、对象存储系统

一 . CephFS文件系统MDS接口

二. 创建CephFS文件系统MDS接口

1. 服务端操作

Step1 在管理节点创建 mds 服务

Step2 查看各个节点的 mds 服务

Step3 创建存储池，启用 ceph 文件系统

Step4 查看mds状态

Step5 创建用户

3.2 客户端操作

Step1 在客户端创建工作目录

Step2 向客户端拷贝相关文件

Step3 在客户端安装 ceph 软件包

Step4 在客户端制作秘钥文件

Step5 客户端挂载

方式一：基于内核

方式二：基于 fuse 工具

三 、Ceph 块存储系统 RBD 接口

3.1 RBD接口简介

3.2 使用 RBD 的两种方式

3.3 镜像管理

3.3.1在服务端上配置RBD

3.3.1 查看

3.3.2 修改镜像大小

3.3.3 删除镜像

3.4.在客户端使用RBD

3.5 快照管理

3.4.1 创建快照

3.4.2 删除快照

3.4.3 回滚到指定快照

3.4.4 限制镜像可创建快照数

3.4.4 快照分层（快照克隆）

3.4.5 快照展平

3.4.6镜像的导出导入

四 、创建 Ceph 对象存储系统 RGW 接口

4.1对象存储的概念

4.2 部署流程

五.OSD 故障模拟与恢复

5.1 模拟 OSD 故障

5.2 故障恢复

5.3 把原来坏掉的 osd 修复后重新加入集群

5.4 重启守护进程，观察故障是否恢复

5.5 重启失败的解决方案（补充）

三、Ceph 块存储系统 RBD 接口

四、创建 Ceph 对象存储系统 RGW 接口