分布式存储ceph之RGW接口

1.对象存储概念

[2.创建 RGW 接口](#2.创建 RGW 接口)

[2.1 管理节点创建一个 RGW 守护进程](#2.1 管理节点创建一个 RGW 守护进程)

[2.2 开启 http+https ，更改监听端口](#2.2 开启 http+https ，更改监听端口)

[2.3 创建 RadosGW 账户](#2.3 创建 RadosGW 账户)

[2.4 客户端测试](#2.4 客户端测试)

[3.OSD 故障模拟与恢复](#3.OSD 故障模拟与恢复)

[3.1 模拟 OSD 故障](#3.1 模拟 OSD 故障)

[3.2 将坏掉的 osd 踢出集群](#3.2 将坏掉的 osd 踢出集群)

[3.3 把原来坏掉的 osd 修复后重新加入集群](#3.3 把原来坏掉的 osd 修复后重新加入集群)

1.对象存储概念

对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。不同于其他数据存储方法，基于对象的存储不使用目录树。

虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异。从客户端的角度来看，分为以下几个逻辑单位：
●Amazon S3：
提供了
1、用户（User）
2、存储桶（Bucket）
3、对象（Object）

三者的关系是：
1、User将Object存储到系统上的Bucket
2、存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象
3、同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的Bucket，因此User名称即可做为Bucket的名称空间

●OpenStack Swift：
提供了user、container和object分别对应于用户、存储桶和对象，不过它还额外为user提供了父级组件account，用于表示一个项目或用户组，因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间

●RadosGW：
提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；不过，自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件

从上可以看出大多数对象存储的核心资源类型大同小异，如 Amazon S3、OpenStack Swift 与 RadosGw。其中 S3 与 Swift 互不兼容，RadosGw 为了兼容 S3 与 Swift， Ceph 在 RadosGW 集群的基础上提供了 RGW（RadosGateway）数据抽象层和管理层，它可以原生兼容 S3 和 Swift 的 API。

S3和Swift它们可基于http或https完成数据交换，由RadosGW内建的Civetweb提供服务，它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求，再转发至RadosGW进程。
RGW 的功能依赖于对象网关守护进程实现，负责向客户端提供 REST API 接口。出于冗余负载均衡的需求，一个 Ceph 集群上通常不止一个 RadosGW 守护进程。（##可以在多个节点去开启RGW守护进程）

2.创建 RGW 接口

如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作为对象存储（Object Storage）使用，类于阿里云OSS。

2.1 管理节点创建一个 RGW 守护进程

复制代码

cd /etc/ceph
ceph-deploy rgw create node01

创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

复制代码

ceph osd pool ls
rgw.root 
default.rgw.control			#控制器信息
default.rgw.meta			#记录元数据
default.rgw.log				#日志信息
default.rgw.buckets.index	#为 rgw 的 bucket 信息，写入数据后生成
default.rgw.buckets.data	#是实际存储的数据信息，写入数据后生成

默认情况下 RGW 监听 7480 号端口

复制代码

node01节点
netstat -lntp | grep 7480

复制代码

admin节点
curl node01:7480

2.2 开启 http+https ，更改监听端口

RadosGW 守护进程内部由 Civetweb 实现，通过对 Civetweb 的配置可以完成对 RadosGW 的基本管理。

复制代码

admin节点
#要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书
1）生成CA证书私钥：
openssl genrsa -out civetweb.key 2048
 
2）生成CA证书公钥：
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.9.111"
 
#3、将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

更改监听端口

Civetweb 默认监听在 7480 端口并提供 http 协议，如果需要修改配置需要在管理节点编辑 ceph.conf 配置文件

复制代码

vim ceph.conf
添加以下配置
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"
 
------------------------------------------------------------
●rgw_host：对应的RadosGW名称或者IP地址
●rgw_frontends：这里配置监听的端口，是否使用https，以及一些常用配置：
•port：如果是https端口，需要在端口后面加一个s。
•ssl_certificate：指定证书的路径。
•num_threads：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大
•request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000
•access_log_file：访问日志路径，默认为空
•error_log_file：错误日志路径，默认为空
------------------------------------------------------------
 
#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务，再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}

scp civetweb.pem node01:/etc/ceph     #推送证书文件给node节点
scp civetweb.pem node02:/etc/ceph
scp civetweb.pem node03:/etc/ceph

复制代码

node01节点
systemctl restart ceph-radosgw.target
netstat -lntp | grep :80
netstat -lntp | grep radosgw
 
#在客户端访问验证
curl node01:80
curl -k https://node01:443

2.3 创建 RadosGW 账户

在管理节点使用 radosgw-admin 命令创建 RadosGW 账户

复制代码

radosgw-admin user create --uid="scj" --display-name="rgw test user"

复制代码

#创建成功后将输出用户的基本信息，其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功，如果忘记用户信息可以使用下面的命令查看
radosgw-admin user info --uid="scj"

2.4 客户端测试

复制代码

1）在客户端安装 python3、python3-pip
yum install -y python3 python3-pip
 
python3 -V         #查看
Python 3.6.8

pip3 -V
 
2）安装 boto 模块，用于测试连接 S3
pip3 install boto

复制代码

3）测试访问 S3 接口
#coding:utf-8
#boto s3手册：http://boto.readthedocs.org/en/latest/ref/s3.html
#boto s3快速入门：http://boto.readthedocs.org/en/latest/s3_tut.html
#如果脚本长时间阻塞，请检查集群状态，开启的端口等
import ssl
import boto.s3.connection
from boto.s3.key import Key
#异常抛出
try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context
#test用户的keys信息
access_key = "A1HILZD6RHGGC4JV0U9Q"
secret_key = "v0i9JnYIlVFAqfT7uAPVLIshxKuHdKKLwsTJppYy"
#rgw的ip与端口
host = "192.168.9.111"
#如果使用443端口，下述链接应设置is_secure=True
port = 443
#如果使用80端口，下述链接应设置is_secure=False
#port = 80
conn = boto.connect_s3(
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    host=host,
    port=port,
    is_secure=True,
    validate_certs=False,
    calling_format=boto.s3.connection.OrdinaryCallingFormat()
)

##一:创建存储桶
conn.create_bucket(bucket_name='bucket01')
#conn.create_bucket(bucket_name='bucket02')
#
##二：判断是否存在，不存在返回None
#exists = conn.lookup('bucket01')
#print(exists)
#exists = conn.lookup('bucket02')
#print(exists)
#
##三：获得一个存储桶
#bucket1 = conn.get_bucket('bucket01')
#bucket2 = conn.get_bucket('bucket02')
#
##四：查看一个bucket下的内容
#print(list(bucket1.list()))
#print(list(bucket2.list()))
#
##五：向s3上存储数据，数据来源可以是file、stream、or string
##5.1、上传文件
#bucket1 = conn.get_bucket('bucket01')
## name的值是数据的key
#key = Key(bucket=bucket1, name='myfile')
#key.set_contents_from_filename(r'D:\PycharmProjects\ceph\123.txt')
## 读取 s3 中文件的内容，返回 string 即文件 123.txt 的内容
#print(key.get_contents_as_string())
#
##5.2、上传字符串
##如果之前已经获取过对象，此处不需要重复获取
#bucket2 = conn.get_bucket('bucket02')
#key = Key(bucket=bucket2, name='mystr')
#key.set_contents_from_string('hello world')
#print(key.get_contents_as_string())
#
##六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key
#bucket1 = conn.get_bucket('bucket01')
#for key in bucket1:
#    key.delete()
#bucket1.delete()
##bucket1.get_all_keys()[0].delete() #删除某一个 key
#
##迭代遍历删除 buckets and keys
#for bucket in conn:
#    for key in bucket:
#        print(key.name,key.get_contents_as_string())
##---个判断文件夹中是否有文件的方法
#bucket1 = conn.get_bucket('bucket01')
#res = bucket1.get_all_keys()
#if len(res) > 0:
#    print('有文件')
#else:
#    print('为空')




#注释34-85行

1.测试创建存储桶bucket01

复制代码

vim test.py
取消35行注释

python3 test.py  #执行

复制代码

vim test.py
35行添加注释
取消39-42注释

python3 test.py

2.获取存储桶中的内容

复制代码

vim test.py

39-42添加注释
删除45、49注释

python3 test.py

传入存储桶内容

复制代码

cd /opt
echo 'zhangsan lisi' > scj.txt

vim test.py

添加45、49注释
54、56、57删除注释


key.set_contents_from_filename(r'/opt/scj.txt')   #57行修改

python3 test.py  #执行

复制代码

vim test.py

删除45、49注释
54、56、57添加注释

python3 test.py

复制代码

vim test.py

打开56、59行

python3 test.py

3.通过字符串方式上传内容

复制代码

vim test.py

注释45、49、56、59
打开36行注释

python3 test.py

复制代码

vim test.py

注释36行注释
打开39-42注释

python3 test.py

复制代码

vim test.py

注释39-42
63-65 打开注释

修改64、65配置
key = Key(bucket=bucket2, name='tangjun')
key.set_contents_from_string('tangjun like scj')

python3 test.py

复制代码

vim test.py

注释63-65
打开45、46、49、50
python3 test.py

复制代码

vim test.py

打开56、59、64、66
python3 test.py

4.删除指定存储桶

复制代码

vim test.py
34-85都注释
打开69、73

修改
bucket2 = conn.get_bucket('bucket02')
bucket2.get_all_keys()[0].delete() #删除某一个 key
python3 test.py

复制代码

vim test.py

注释69、73
打开46、50行
python3 test.py

删除整个存储桶

复制代码

vim test.py

注释46、50
打开69-72行并修改
 69 bucket2 = conn.get_bucket('bucket02')
 70 for key in bucket2:
 71     key.delete()
 72 bucket2.delete()

python3 test.py

复制代码

vim test.py
打开39-42
注释69-72行并修改

python3 test.py

3.OSD 故障模拟与恢复

3.1 模拟 OSD 故障

管理节点

复制代码

ceph osd tree

模拟8号故障

node3节点

复制代码

systemctl stop ceph-osd@8.service
systemctl status ceph-osd@8.service

3.2 将坏掉的 osd 踢出集群

复制代码

用综合步骤，删除配置文件中针对坏掉的 osd 的配置
ceph osd purge osd.8 --yes-i-really-mean-it

3.3 把原来坏掉的 osd 修复后重新加入集群

复制代码

#在 osd 节点创建 osd，无需指定名，会按序号自动生成
cd /etc/ceph

ceph osd create

#创建账户
ceph-authtool --create-keyring /etc/ceph/ceph.osd.8.keyring --gen-key -n osd.8 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'

#导入新的账户秘钥
ceph auth import -i /etc/ceph/ceph.osd.8.keyring

ceph auth list

复制代码

node3节点
更新对应的 osd 文件夹中的密钥环文件

ceph auth get-or-create osd.8 -o /var/lib/ceph/osd/ceph-8/keyring

admin节点
加入 crushmap
ceph osd crush add osd.8 1.000 host=node03

#加入集群
ceph osd in osd.8

ceph osd tree

复制代码

node3节点重启
重启 osd 守护进程
systemctl restart ceph-osd@8

复制代码

admin服务器查看
ceph osd tree		#稍等片刻后 osd 状态为 up