CephFS文件系统之MDS接口详解
- 1.创建CephFS文件系统MDS接口
-
- [1.1 创建cephfs](#1.1 创建cephfs)
- [1.2 基于内核的客户端挂载](#1.2 基于内核的客户端挂载)
- [1.3 基于fuse工具方式的客户端挂载](#1.3 基于fuse工具方式的客户端挂载)
1.创建CephFS文件系统MDS接口
服务端操作
(1)在admin管理节点创建mds服务
bash
cd /etc/ceph
ceph-deploy mds create node01 node02 node03
(2)查看各个节点的mds服务
bash
ssh root@node01 systemctl status ceph-mds@node01
ssh root@node02 systemctl status ceph-mds@node02
ssh root@node03 systemctl status ceph-mds@node03
(3)创建存储池,启用ceph文件系统
ceph文件系统至少需要两个rado池,一个用于存储数据,一个用于存储元数据。此时数据池就类似于文件系统的共享目录。
bash
ceph osd pool create cephfs_data 128 #创建数据Pool
ceph osd pool create cephfs_metadata 128 #创建元数据Pool
1.1 创建cephfs
命令格式:
bash
ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>
bash
ceph fs new mycephfs cephfs_metadata cephfs_data #启用ceph,元数据Pool在前,数据Pool在后
ceph fs ls #查看cephfs
(4)查看mds状态,一个up,其余两个待命,目前的工作是由node01上的mds提供服务
bash
ceph -s
ceph mds stat
(5)创建用户
语法格式:
bash
ceph fs authorize <fs_name> client.<client_id> <path-in-cephfs> rw
bash
#账户为client.zhangsan,用户name为zhangsan,zhangsan对ceph文件系统的 / 根目录(注意不是操作系统的根目录)有读写权限
ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring
#账户为client.lisi,用户name为lisi,lisi对文件系统的 / 根目录只有读权限,对文件系统的根目录的子目录 /test有读写权限
ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring
客户端操作
(1)客户端要在public网络内
(2)在客户端创建工作目录
bash
mkdir /etc/ceph
(3)在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件zhangsan.keyring、lisi.keyring
bash
scp ceph.conf zhangsan.keyring lisi.keyring root@client:/etc/ceph
(4)在客户端安装ceph依赖包和软件包
bash
cd /opt
yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass
wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
rpm -ivh ceph-release-1-1.el7.noarch.rpm
yum install -y ceph
(5)在客户端制作秘钥文件
bash
cd /etc/ceph
ceph-authtool -n client.zhangsan -p zhangsan.keyring > zhangsan.key #把zhangsan用户的秘钥导出到 zhangsan.keyl
ceph-authtool -n client.lisi -p lisi.keyring > lisi.key #把lisi用户的秘钥导出到lisi.key
(6)客户端挂载
bash
cd /data/aa
ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa -o nonempty #挂载时,如果挂载点不为空会挂载失败,指定-o nonempty可以忽略
1.2 基于内核的客户端挂载
语法格式:
bash
mount -t ceph node01:6789,node02:6789,node03:6789:/ <本地挂载点目录> -o name=<用户名>,secret=<秘钥>
mount -t ceph node01:6789,node02:6789,node03:6789:/ <本地挂载点目录> -o name=<用户名>,secretfile=<秘钥文件>
示例一:
bash
mkdir -p /data/zhangsan
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/zhangsan -o name=zhangsan,secretfile=/etc/ceph/zhangsan.key
示例二:
bash
mkdir -p /data/lisi
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/lisi -o name=lisi,secretfile=/etc/ceph/lisi.key
验证用户权限
bash
cd /data/lisi
echo 123 > 2.txt
bash
cd /data/zhangsan
mkdir test #lisi用户只有读取权限,没有修改权限,需要先切换到zhangsan用户下创建/test目录
cd /data/lisi
echo 123 > test/2.txt
cat test/2.txt
示例三:
bash
#停掉node02上的mds服务
ssh root@node02 "systemctl stop ceph-mds@node02"
ceph -s
#测试客户端的挂载点仍然是可以用的,如果停掉所有的 mds,客户端就不能用了
1.3 基于fuse工具方式的客户端挂载
(1)在 ceph 的管理节点给客户端拷贝用户账号的秘钥环文件zhangsan.keyring、lisi.keyring
bash
cd /etc/ceph
scp ceph.client.admin.keyring root@client:/etc/ceph
(2)在客户端安装ceph-fuse
bash
yum install -y ceph-fuse
(3)客户端挂载
bash
mkdir -p /data/aa
cd /data/aa
ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa [-o nonempty] #挂载时,如果挂载点不为空会挂载失败,指定 -o nonempty 可以忽略