GFS分布式文件系统：
gfd glusterFS开源的分布式的文件系统。
存储服务器,客户端以及网络（NFS/samba)网关。
传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。一旦元服务器故障，所有的存储节点全部失效。
现在GFS取消了元服务器机制，数据横向扩展能力更强。可靠性更强。存储效率也更高。
GFS的特点：
1、扩展性更强，高性能
2、高可用，可以自动对文件进行复制。多次复制。
确保数据总是可以访问。哪怕硬件故障也能正常访问
3、全局统一的命名空间。所有节点都在一个分支的管理之下。客户端访问分支节点即可。
4、弹性卷，类似LVM。不同硬盘上的不同分区，组成一个逻辑上的硬盘。
不同服务器上的不同的硬盘分区，组成一个卷。可以动态扩容。
5、基于标准协议，GFS存储服务支持，NFS FTPHTTP以及GFS协议。应用程序可以直接使用数据，不需要任何修改。
GFS的组件和术语：
1、BRICK(存储块），存储服务器提供的用于物理存储的专用分区，GFS当中的基本存储单元。也是对外提供的存储目录。服务和目录的绝对路径组成server:dir
192.168.233.10:/opt/gfs
node1:/opt/gfs
2、volume逻辑卷一个逻辑卷就是一组brick的集合。类似于lvm，我们管理GFS,就是管理这些卷。
3、FUSE：GFS的内核模块，允许用户创建自己的文件系统。
4 VFS：内核空间对用户提供的访问磁盘的接口。虚拟端口。
5、服务端在每个存储节点上都要运行。glusterd（后台管理进程）
工作流程：
gfs的卷有哪些类型：
分布式卷，也是GFS的默认卷类型
条带卷（没了）
复制卷（镜像化）
分布式复制卷
分作式卷的特点：
文件数据通过HASH算法分布到设置的所有BRICK SERVER上。GFS时默认。属于raldu，没有容错机制。在分布式卷模式下，没有对文件进行分块，直接存储在某个server的节点上。坏了一个全坏。存取效率也没有提高。直接使用本地文件系统进行存储
复制卷：
类似于raid 1,文件会同步在多个brick server上。读性能上升，写性能稍差。
分布式复制卷：
两两复制，文件会在组内同步。不同的组之间数据未必同步。
部署 GlusterFS 分布式文件系统
先安装多个磁盘
编写脚本，自动化分区挂载
systemctl stop firewalld
setenforce 0
2．磁盘分区，并挂载
vim /opt/fdisk.sh
#!/bin/bash
DEVNAME=$(ls /dev/sd* | grep -o "sd[b-e]")
for i in $DEVNAME
do
echo -e "n\n\n\n\n\nw\n" | fdisk /dev/$i &> /dev/null
mkfs -t xfs /dev/${i}1 &> /dev/null
mkdir -p /data/${i}1
echo "/dev/{i}1 /data/{i}1 xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh
3．修改主机名，配置/etc/hosts文件
#以Node1节点为例：(所有节点皆需要进行进行映射添加)
hostnamectl set-hostname node1
su
echo "192.168.73.105 node1" >> /etc/hosts
echo "192.168.73.106 node2" >> /etc/hosts
echo "192.168.73.107 node3" >> /etc/hosts
echo "192.168.73.109 node4" >> /etc/hosts
安装、启动GlusterFS（所有node节点上操作）
#将gfsrepo 软件上传到/opt目录下
unzip gfsrepo.zip
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
glfs
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
#yum -y install centos-release-gluster #如采用官方 YUM 源安装，可以直接指向互联网仓库
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service
添加节点到存储信任池中（在 node1 节点上操作）
#只要在一台Node节点上添加其它节点即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
#在每个Node节点上查看群集状态
gluster peer status
创建GFS卷
1．创建分布式卷
#创建分布式卷，没有指定类型，默认创建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
#查看卷列表
gluster volume list
#启动新建分布式卷
gluster volume start dis-volume
#查看创建分布式卷信息
gluster volume info dis-volume
2．创建条带卷
#指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
gluster volume info stripe-volume
3．创建复制卷
#指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume
4．创建分布式条带卷
#指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe
5．创建分布式复制卷
指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep
#查看当前所有卷的列表
gluster volume list
部署 Gluster 客户端
1．安装客户端软件
#将gfsrepo 软件上传到/opt目下
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
glfs
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse
2．创建挂载目录
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
3．配置 /etc/hosts 文件
echo "192.168.73.105 node1" >> /etc/hosts
echo "192.168.73.106 node2" >> /etc/hosts
echo "192.168.73.107 node3" >> /etc/hosts
echo "192.168.73.109 node4" >> /etc/hosts
4．挂载 Gluster 文件系统
#临时挂载
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
df -Th
#永久挂载
vim /etc/fstab
node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0
node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0
node1:dis-stripe /test/dis_stripe glusterfs defaults,_netdev 0 0
node1:dis-rep /test/dis_rep glusterfs defaults,_netdev 0 0
GFS系统卷测试
（1）文件写入测试
1．卷中写入文件，客户端操作
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
ls -lh /opt
cp /opt/demo* /test/dis
cp /opt/demo* /test/stripe/
cp /opt/demo* /test/rep/
cp /opt/demo* /test/dis_stripe/
cp /opt/demo* /test/dis_rep/
（2）查看文件分布情况
ls -lh /data/sdb1
ls -lh /data/sdc1 ll -h /data/sdd1 ll -h /data/sde1
破坏性测试
#挂起 node2 节点或者关闭glusterd服务来模拟故障
root@node2 \~\]# systemctl stop glusterd.service #在客户端上查看文件是否正常 #分布式卷数据查看 \[root@localhost test\]# ll /test/dis/ #在客户机上发现少了demo5.log文件，这个是在node2上的 总用量 163840 -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log #条带卷 \[root@localhost test\]# cd /test/stripe/ #无法访问，条带卷不具备冗余性 \[root@localhost stripe\]# ll 总用量 0 #分布式条带卷 \[root@localhost test\]# ll /test/dis_stripe/ #无法访问，分布条带卷不具备冗余性 总用量 40960 -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log #分布式复制卷 \[root@localhost test\]# ll /test/dis_rep/ #可以访问，分布式复制卷具备冗余性 总用量 204800 -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log #挂起 node2 和 node4 节点，在客户端上查看文件是否正常 #测试复制卷是否正常 \[root@localhost rep\]# ls -l /test/rep/ #在客户机上测试正常 数据有 总用量 204800 -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log #测试分布式条卷是否正常 \[root@localhost dis_stripe\]# ll /test/dis_stripe/ #在客户机上测试没有数据 总用量 0 #测试分布式复制卷是否正常 \[root@localhost dis_rep\]# ll /test/dis_rep/ #在客户机上测试正常 有数据 总用量 204800 -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log ## 其他的维护命令： 1．查看GlusterFS卷 gluster volume list 2．查看所有卷的信息 gluster volume info 3．查看所有卷的状态 gluster volume status 4．停止一个卷 gluster volume stop dis-stripe 5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功 gluster volume delete dis-stripe 6．设置卷的访问控制 #仅拒绝 gluster volume set dis-rep auth.deny 192.168.73.11 #仅允许 gluster volume set dis-rep auth.allow 192.168.73.\* #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）