ceph：
ceph是一个开源的，用c++语言编写的分布式的存储系统。存储文件数据。
/dev/sdb
fdisk /dev/sdb
gdisk /dev/sdb
lvm 逻辑卷
可以扩容
raid 磁盘阵容
高可用
基于物理意义上的单机的存储系统。
分布式由多台物理磁盘组成一个集群，在这个基础之上实现高可用，扩展。
ceph是一个统一的存储系统，同时提供块设备存储，文件系统存储和对象存储三种存储
对象存储RGW oss：
对象存储也就是键值存储，通过接口指令，get put del 和其他的命令向对象存储上传或者下载数据。
把数据作为对象，按照一定的逻辑和算法，存储到不同的硬盘上（可以是不同机器上的硬盘，依靠网络来进行互相通信）。
优点：
1、使用的是硬盘组，不受目录系统的影响，读写效率高
2、集群的扩展性很强，支持多副本存储。
3、可以直接通过URL访问文件。简单，也好管理
缺点：
1、内容变动比较大的文件不适合作为对象存储，每一次变动都要重新上传。
2、静态图片等等不需要变动的数据
文件系统存储 ceph-fs
ceph集群的存储看做是一个大的分区或者共享文件挂载到客户端的本地
客户端可以在本地直接进行操作。速度快，可以存储的数据类型也没有限制。
内核态和用户态：
mount 内核态 速度快，读写也快
ceph-fuse 用户态 速度慢，读写稍慢
优点：
1、成本低，随便的一台服务器都可以做。
2、公司内部都会使用这种方式，内网云盘就是这种方式
缺点：
读写速度和传输速度相对比较慢（本地使用不再此列）
块存储RDB：
rdb为kvm虚拟化和云服务（openstack）提供高性能和无限可扩展的存储后端。
磁盘映射，RAID和lvm提供磁盘空间，多个主机上的raid或者lvm
多块磁盘组成这种逻辑空间。可以并行的执行读写操作，IO效率比较高
缺点：对网络传输的要求比较高，windows无法访问linux的RDB操作。
ceph的主要特点：
统一存储 对象 块 文件系统
Crush算法，算法来实现数据的寻址，数据完整性的效验和一致性。理论上可以支持上千个数据存储节点。
高扩展性 扩容方便
可靠性比较强 副本，创建数据的时候可以对数据进行副本操作，副本数由管理员定义的，副本可以跨主机保存，快架构，跨机房，跨数据中心进行保存。
高性能 因为是多副本，读写的时候可以做的并行化处理。
ceph的组件和作用：
1、OSD ceph当中的OSD的守护进程，是集群的基础
主要功能：存储数据，保存副本数据，数据恢复，平衡数据分布。
冗余和高可用至少要有3个OSD（三个机器上的三个物理硬盘）
2、Monitors mon Monitors守护进程，监视ceph集群的状态，维护ceph集群的健康
OSD的状态也属于Mon的监控范围。
ceph存储集群必须要有一个Monitors进程，和两个OSD进程。
服务器的数量必须是奇数台。3-5
管理节点 mon osd
osd
osd
3、MDS也是一个守护进程，保存ceph文件系统的元数据。（文件的权限，所有者，所在组，创建时间等等，在ceph集群当中的inode号）
4、managers也是作为守护进程运行。跟踪集群的运行时间的指标和ceph集群的状态，存储的利用率，性能指标和系统的负载。
5、RADOS：分布式存储系统，所有的存储功能都是基于RADOS实现的。高可用，高性能也是基于RADOS实现的，他是所有一切的底层，也是整个ceph集群的核心。
RADOS由两部分组成：OSD，monitor
6、LIBRADOS：这是一个动态库，用来允许应用程序和RADOS系统进行交互。通过端口进行通信。
存储的概念：
存储数据和object的关系：
对象，块，文件系统挂载，都需要object，存储的数据会被分成多个object，分成之后每一个数据都有一个object id。
每个数据的object的大小是可以调整的，默认是4M
ceph的最小存储单位
object和pg的关系：
在一个集群当中，object的数量太多，遍历和寻址速度都很慢。
PG，就是归置组，placcment group 管理object。
object通过CRUSH算法映射到PG当中，一个pg里面可以包含多个object。
pg与osd之间的关系：
pg也是通过CRUSH算法映射到osd当中去存储。如果有副本，每个pg会映射到3个OSD当中，
三个OSD A B C
PG---------A
PG---------B
PG---------C
PG和PGD的关系：
PGD是存放PG的排列组合。
存储池： pool
ceph的集群进行逻辑划分，设置ceph存储集群的权限，副本数 pg的数量和算法的规则。
pool是由管理员自定义，相当于一个独立的空间。每个pool之间是独立的，数据也是独立的。
ceph 60
4台
192.168.60.91 admin osd mon mgr
192.168.60.92 osd mds mon mgr
192.168.60.93 osd mds mon mgr
192.168.60.90 client
安装步骤：
#关闭所有机器的防火墙
[root@mysql1 ~]# systemctl stop firewalld
[root@mysql1 ~]# setenforce 0
#所有机器添加主机映射
[root@mysql1 ~]# vim /etc/hosts
192.168.60.91 mysql1
192.168.60.92 mysql2
192.168.60.93 mysql3
192.168.60.90 test
#在主节点上设置密钥对：
[root@mysql1 ~]# ssh-keygen #一路回车即可
#将密钥从主节点发送到每个从节点
[root@mysql1 ~]# ssh-copy-id 192.168.60.90
[root@mysql1 ~]# ssh-copy-id 192.168.60.92
[root@mysql1 ~]# ssh-copy-id 192.168.60.93
#所有节点安装源
cat> /etc/yum.repos.d/ceph.repo <<eof
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=ceph-noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
eof
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all && yum makecache
yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs
#主节点和从节点添加硬盘
alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
执行scan#192.168.60.91 配置
[root@mysql1 ~]# cd /etc/ceph/
[root@mysql1 ceph]# ceph-deploy new mysql1 mysql2 mysql3
[root@mysql1 ceph]# vim ceph.conf
osd_pool_default_size = 2
[root@mysql1 ceph]# ceph-deploy mon create-initial
[root@mysql1 ceph]# ceph -s
#下面这个命令在mysql1、mysql2、mysql3上都要做
[root@mysql1 ceph]# alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
[root@mysql1 ceph]# scan
[root@mysql1 ceph]# lsblk
[root@mysql1 ceph]# ceph-deploy disk zap mysql1 /dev/sdb
[root@mysql1 ceph]# ceph-deploy disk zap mysql2 /dev/sdb
[root@mysql1 ceph]# ceph-deploy disk zap mysql3 /dev/sdb
[root@mysql1 ceph]# ceph-deploy osd create mysql1 --data /dev/sdb
[root@mysql1 ceph]# ceph-deploy osd create mysql2 --data /dev/sdb
[root@mysql1 ceph]# ceph-deploy osd create mysql3 --data /dev/sdb
[root@mysql1 ceph]# ceph-deploy osd list mysql1 mysql2 mysql3
[root@mysql1 ceph]# ceph -s
[root@mysql1 ceph]# ceph-deploy mgr create mysql1 mysql2 mysql3
[root@mysql1 ceph]# ceph -s
[root@mysql1 ceph]# ceph-deploy admin mysql1 mysql2 mysql3 #将配置文件传给mysql1、mysql2、mysql3
[root@mysql1 ceph]# chmod +r ceph.client.admin.keyring #给配置文件赋一个读的权限
[root@mysql1 ceph]# ceph-deploy mds create mysql2 mysql3#192.168.60.92 配置
[root@mysql2 ~]# systemctl stop firewalld
[root@mysql2 ~]# setenforce 0
[root@mysql2 ~]# vim /etc/hosts
[root@mysql2 ~]# cat> /etc/yum.repos.d/ceph.repo <<eof
> [ceph]
> name=ceph
> baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
> gpgcheck=0
> [ceph-noarch]
> name=ceph-noarch
> baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
> gpgcheck=0
> eof
[root@mysql2 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
[root@mysql2 ~]# yum clean all && yum makecache
[root@mysql2 ~]# yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs
[root@mysql2 ~]# alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
[root@mysql2 ~]# cd /etc/ceph/
[root@mysql2 ceph]# chmod +r ceph.client.admin.keyring#192.168.60.93 配置
[root@mysql3 ~]# systemctl stop firewalld
[root@mysql3 ~]# setenforce 0
[root@mysql3 ~]# vim /etc/hosts
[root@mysql3 ~]# cat> /etc/yum.repos.d/ceph.repo <<eof
> [ceph]
> name=ceph
> baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
> gpgcheck=0
> [ceph-noarch]
> name=ceph-noarch
> baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
> gpgcheck=0
> eof
[root@mysql3 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
[root@mysql3 ~]# yum clean all && yum makecache
[root@mysql3 ~]# yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs
[root@mysql3 ~]# alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
[root@mysql3 ~]# cd /etc/ceph/
[root@mysql3 ceph]# chmod +r ceph.client.admin.keyring创建存储池操作步骤：
[root@mysql1 ceph]# ceph osd pool create cephfs_date 128
pool 'cephfs_date' created
[root@mysql1 ceph]# ceph osd pool create ceph_metadata 128
pool 'ceph_metadata' created
[root@mysql1 ceph]# ceph fs new ceph-test1 ceph_metadata cephfs_date
new fs with metadata pool 2 and data pool 1
[root@mysql1 ceph]# ceph fs ls
name: ceph-test1, metadata pool: ceph_metadata, data pools: [cephfs_date ]
[root@mysql1 ceph]# ceph fs status ceph-test1
ceph-test1 - 0 clients
==========
+------+--------+--------+---------------+-------+-------+
| Rank | State | MDS | Activity | dns | inos |
+------+--------+--------+---------------+-------+-------+
| 0 | active | mysql3 | Reqs: 0 /s | 10 | 12 |
+------+--------+--------+---------------+-------+-------+
+---------------+----------+-------+-------+
| Pool | type | used | avail |
+---------------+----------+-------+-------+
| ceph_metadata | metadata | 2246 | 26.9G |
| cephfs_date | data | 0 | 26.9G |
+---------------+----------+-------+-------+
+-------------+
| Standby MDS |
+-------------+
| mysql2 |
+-------------+
MDS version: ceph version 12.2.13 (584a20eb0237c657dc0567da126be145106aa47e) luminous (stable)
[root@mysql1 ceph]# cat ceph.client.admin.keyring
[client.admin]
key = AQDKGbNmj/bTAxAAFhU1vR0l8DA/h+KAwqckFQ==
#用内核挂载
[root@test9 ~]# mkdir /date
[root@test9 ~]# mount -t ceph 192.168.60.91:6789:/ /date -o name=admin,secret=AQDKGbNmj/bTAxAAFhU1vR0l8DA/h+KAwqckFQ==
[root@test9 date]# dd if=/dev/zero of=/date/test1.txt bs=10M count=10 #往date目录里写一个100M的文件
[root@mysql1 ceph]# ceph fs status ceph-test1
ceph-test1 - 1 clients
==========
+------+--------+--------+---------------+-------+-------+
| Rank | State | MDS | Activity | dns | inos |
+------+--------+--------+---------------+-------+-------+
| 0 | active | mysql3 | Reqs: 0 /s | 11 | 13 |
+------+--------+--------+---------------+-------+-------+
+---------------+----------+-------+-------+
| Pool | type | used | avail |
+---------------+----------+-------+-------+
| ceph_metadata | metadata | 16.7k | 26.8G |
| cephfs_date | data | 100M | 26.8G |
+---------------+----------+-------+-------+
+-------------+
| Standby MDS |
+-------------+
| mysql2 |
+-------------+
#用户态挂载
[root@test9 date]# yum -y install ceph-fuse #先安装一个依赖环境
[root@test9 ceph]# scp [email protected]:/etc/ceph/ceph.client.admin.keyring /etc/ceph/
[root@test9 ceph]# scp [email protected]:/etc/ceph/ceph.conf /etc/ceph/
[root@test9 ceph]# mkdir /date1
[root@test9 ceph]# ceph-fuse -m 192.168.60.91:6789 /date1
[root@test9 ceph]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root 38G 5.1G 32G 14% /
devtmpfs 1.9G 0 1.9G 0% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
tmpfs 1.9G 13M 1.9G 1% /run
tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup
/dev/sr0 4.3G 4.3G 0 100% /mnt
/dev/sda1 1014M 179M 836M 18% /boot
/dev/mapper/centos-home 19G 37M 19G 1% /home
tmpfs 378M 4.0K 378M 1% /run/user/42
tmpfs 378M 32K 378M 1% /run/user/0
192.168.60.91:6789:/ 27G 100M 27G 1% /date
ceph-fuse 27G 100M 27G 1% /date1文件系统 ceph-fs
第一个存储数据的pool
第二个存储元数据的pool
ceph osd pool create cephfs_date pg_num
少于5个osd的情况下，pg的数量等于128
5-10个osd 512
10-50个osd 4096个
pg总数：750个，不能超过750个
存储元数据也要pg
128*2=256
存储数据：
osd * pg值
元数据：
2 * pg值
osd * pg值+2 * pg值 <750
pg_num = (osd * 100) / 副本数
设定pg值的目的，通过管理较少的pg.ceph获取数据，分配，管理数据的效率越高。
pg值越多，数据分布的越多，管理就越复杂。
调整副本数：
vim ceph.confceph osd pool set cephfs_date size 3