分布式----Ceph应用（下）

目录

[创建 Ceph 对象存储系统 RGW 接口](#创建 Ceph 对象存储系统 RGW 接口)

1、对象存储概念

[2、创建 RGW 接口](#2、创建 RGW 接口)

[//在管理节点创建一个 RGW 守护进程（生产环境下此进程一般需要高可用，后续介绍）](#//在管理节点创建一个 RGW 守护进程（生产环境下此进程一般需要高可用，后续介绍）)

[//开启 http+https ，更改监听端口](#//开启 http+https ，更改监听端口)

[//创建 RadosGW 账户](#//创建 RadosGW 账户)

[//S3 接口访问测试](#//S3 接口访问测试)

[OSD 故障模拟与恢复](#OSD 故障模拟与恢复)

[1、模拟 OSD 故障](#1、模拟 OSD 故障)

[2、将坏掉的 osd 踢出集群](#2、将坏掉的 osd 踢出集群)

//方法一：

//方法二：

[3、把原来坏掉的 osd 修复后重新加入集群](#3、把原来坏掉的 osd 修复后重新加入集群)

---

创建 Ceph 对象存储系统 RGW 接口

1、对象存储概念

对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。

不同于其他数据存储方法，基于对象的存储不使用目录树。

虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异。从客户端的角度来看，分为以下几个逻辑单位：

• Amazon S3：

提供了

1、用户（User）

2、存储桶（Bucket）

3、对象（Object）

三者的关系是：

1、User将Object存储到系统上的Bucket

2、存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象

3、同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的Bucket，因此User名称即可做为Bucket的名称空间

• OpenStack Swift：

提供了user、container和object分别对应于用户、存储桶和对象，不过它还额外为user提供了父级组件account，用于表示一个项目或用户组，因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间

• RadosGW：

提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；不过，自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件

从上可以看出大多数对象存储的核心资源类型大同小异，如 Amazon S3、OpenStack Swift 与 RadosGw。其中 S3 与 Swift 互不兼容，RadosGw 为了兼容 S3 与 Swift， Ceph 在 RadosGW 集群的基础上提供了 RGW（RadosGateway）数据抽象层和管理层，它可以原生兼容 S3 和 Swift 的 API。

S3和Swift它们可基于http或https完成数据交换，由RadosGW内建的Civetweb提供服务，它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求，再转发至RadosGW进程。

RGW 的功能依赖于对象网关守护进程实现，负责向客户端提供 REST API 接口。出于冗余负载均衡的需求，一个 Ceph 集群上通常不止一个 RadosGW 守护进程。

2、创建 RGW 接口

如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作为对象存储（Object Storage）使用，类于阿里云OSS。

//在管理节点创建一个 RGW 守护进程（生产环境下此进程一般需要高可用，后续介绍）

cd /etc/ceph
ceph-deploy rgw create node01

ceph -s
  services:
    mon: 3 daemons, quorum node01,node02,node03 (age 3h)
    mgr: node01(active, since 12h), standbys: node02
    mds: mycephfs:1 {0=node02=up:active} 2 up:standby
    osd: 6 osds: 6 up (since 12h), 6 in (since 25h)
    rgw: 1 daemon active (node01)

#创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

ceph osd pool ls
rgw.root 
default.rgw.control			#控制器信息
default.rgw.meta			#记录元数据
default.rgw.log				#日志信息
default.rgw.buckets.index	#为 rgw 的 bucket 信息，写入数据后生成
default.rgw.buckets.data	#是实际存储的数据信息，写入数据后生成

#默认情况下 RGW 监听 7480 号端口

ssh root@node01 netstat -lntp | grep 7480

curl node01:7480
<?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
  <Owner>
    <ID>anonymous</ID>
    <DisplayName/>
  </Owner>
  <Buckets/>
</ListAllMyBucketsResult>

//开启 http+https ，更改监听端口

RadosGW 守护进程内部由 Civetweb 实现，通过对 Civetweb 的配置可以完成对 RadosGW 的基本管理。

#要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书

1）生成CA证书私钥：

openssl genrsa -out civetweb.key 2048

2）生成CA证书公钥：

openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.80.11"

3、将生成的证书合并为pem

cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

#更改监听端口

Civetweb 默认监听在 7480 端口并提供 http 协议，如果需要修改配置需要在管理节点编辑 ceph.conf 配置文件

cd /etc/ceph

vim ceph.conf
......
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"

●rgw_host：对应的RadosGW名称或者IP地址

●rgw_frontends：这里配置监听的端口，是否使用https，以及一些常用配置：

•port：如果是https端口，需要在端口后面加一个s。

•ssl_certificate：指定证书的路径。

•num_threads：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大

•request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000

•access_log_file：访问日志路径，默认为空

•error_log_file：错误日志路径，默认为空

#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务，再推送配置文件

ceph-deploy --overwrite-conf config push node0{1..3}

ssh root@node01 systemctl restart ceph-radosgw.target

#在 rgw 节点上查看端口

netstat -lntp | grep -w 80
netstat -lntp | grep 443

#在客户端访问验证

curl http://192.168.80.11:80
curl -k https://192.168.80.11:443

//创建 RadosGW 账户

在管理节点使用 radosgw-admin 命令创建 RadosGW 账户

radosgw-admin user create --uid="rgwuser" --display-name="rgw test user"
......
    "keys": [
        {
            "user": "rgwuser",
            "access_key": "ER0SCVRJWNRIKFGQD31H",
            "secret_key": "YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna"
        }
    ],

#创建成功后将输出用户的基本信息，其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功，如果忘记用户信息可以使用下面的命令查看

radosgw-admin user info --uid="rgwuser"

//S3 接口访问测试

1）在客户端安装 python3、python3-pip

yum install -y python3 python3-pip

python3 -V
Python 3.6.8

pip3 -V
pip 9.0.3 from /usr/lib/python3.6/site-packages (python 3.6)

2）安装 boto 模块，用于测试连接 S3

pip3 install boto

3）测试访问 S3 接口

echo 123123 > /opt/123.txt

vim test.py
#coding:utf-8
import ssl
import boto.s3.connection
from boto.s3.key import Key
try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context

#test用户的keys信息

access_key = "ER0SCVRJWNRIKFGQD31H"                          #输入 RadosGW 账户的 access_key
secret_key = "YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna"      #输入 RadosGW 账户的 secret_key

#rgw的ip与端口

host = "192.168.80.11"        #输入 RGW 接口的 public 网络地址

#如果使用443端口，下述链接应设置is_secure=True

port = 443

#如果使用80端口，下述链接应设置is_secure=False

#port = 80

conn = boto.connect_s3(
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    host=host,
    port=port,
    is_secure=True,
    validate_certs=False,
    calling_format=boto.s3.connection.OrdinaryCallingFormat()
)

#一:创建存储桶

#conn.create_bucket(bucket_name='bucket01')
#conn.create_bucket(bucket_name='bucket02')

#二：判断是否存在，不存在返回None

exists = conn.lookup('bucket01')
print(exists)
#exists = conn.lookup('bucket02')
#print(exists)

#三：获得一个存储桶

#bucket1 = conn.get_bucket('bucket01')
#bucket2 = conn.get_bucket('bucket02')

#四：查看一个bucket下的文件

#print(list(bucket1.list()))
#print(list(bucket2.list()))

#五：向s3上存储数据，数据来源可以是file、stream、or string

#5.1、上传文件

#bucket1 = conn.get_bucket('bucket01')
# name的值是数据的key
#key = Key(bucket=bucket1, name='myfile')
#key.set_contents_from_filename('/opt/123.txt')
# 读取 s3 中文件的内容，返回 string 即文件 123.txt 的内容
#print(key.get_contents_as_string())

#5.2、上传字符串

#如果之前已经获取过对象，此处不需要重复获取

bucket2 = conn.get_bucket('bucket02')
key = Key(bucket=bucket2, name='mystr')
key.set_contents_from_string('hello world')
print(key.get_contents_as_string())

#六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key

bucket1 = conn.get_bucket('bucket01')
for key in bucket1:
    key.delete()
bucket1.delete()

4）按照以上步骤执行 python 脚本测试

python3 test.py

OSD 故障模拟与恢复

1、模拟 OSD 故障

如果 ceph 集群有上千个 osd，每天坏 2~3 个太正常了，我们可以模拟 down 掉一个 osd

#如果 osd 守护进程正常运行，down 的 osd 会很快自恢复正常，所以需要先关闭守护进程

ssh root@node01 systemctl stop ceph-osd@0

#down 掉 osd

ceph osd down 0

ceph osd tree

2、将坏掉的 osd 踢出集群

//方法一：

#将 osd.0 移出集群，集群会开始自动同步数据

ceph osd out osd.0

#将 osd.0 移除 crushmap

ceph osd crush remove osd.0

#删除守护进程对应的账户信息

ceph auth rm osd.0

ceph auth list

#删掉 osd.0

ceph osd rm osd.0

ceph osd stat
ceph -s

//方法二：

ceph osd out osd.0

#使用综合步骤，删除配置文件中针对坏掉的 osd 的配置

ceph osd purge osd.0 --yes-i-really-mean-it

3、把原来坏掉的 osd 修复后重新加入集群

#在 osd 节点创建 osd，无需指定名，会按序号自动生成

cd /etc/ceph

ceph osd create

#创建账户

ceph-authtool --create-keyring /etc/ceph/ceph.osd.0.keyring --gen-key -n osd.0 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'

#导入新的账户秘钥

ceph auth import -i /etc/ceph/ceph.osd.0.keyring

ceph auth list

#更新对应的 osd 文件夹中的密钥环文件

ceph auth get-or-create osd.0 -o /var/lib/ceph/osd/ceph-0/keyring

#加入 crushmap

ceph osd crush add osd.0 0.01949 host=node01		#0.01949代表weight权重，和磁盘的容量有关，容量1T，weight值为1.000，500G就是0.5

注：用 ceph osd tree 命令查看 ceph 集群，会发现有 weight 和 reweight 两个值

weight权重和磁盘的容量有关，一般1T，值为1.000，500G就是0.5，其和磁盘的容量有关系，不因磁盘可用空间的减少而变化。

reweight影响PG的到OSD的映射关系。reweight参数的目的，由于ceph的CRUSH算法随机分配，是概率统计意义上的数据均衡，当小规模集群，pg数据相对较少时，会产生一些不均匀的情况，可以通过调整reweight参数，达到数据均衡。而当该osd out时，reweight的值为0，当该osd重新up时，该值会恢复到1，而不会保持之前修改过的值。

#加入集群

ceph osd in osd.0

ceph osd tree

#重启 osd 守护进程

systemctl restart ceph-osd@0

ceph osd tree		#稍等片刻后 osd 状态为 up	

//如果重启失败

报错：
Job for ceph-osd@0.service failed because start of the service was attempted too often. See "systemctl  status ceph-osd@0.service" and "journalctl -xe" for details.
To force a start use "systemctl reset-failed ceph-osd@0.service" followed by "systemctl start ceph-osd@0.service" again.

#运行

systemctl reset-failed ceph-osd@0.service && systemctl restart ceph-osd@0.service