rbd快照管理、rbd快照克隆原理与实现、rbd镜像开机自动挂载、ceph文件系统、对象存储、配置对象存储客户端、访问Dashboard

WIfks_2023-07-29 11:35

day04

day04快照快照克隆开机自动挂载ceph文件系统使用MDS对象存储配置服务器端配置客户端访问Dashborad

快照

  • 快照可以保存某一时间点时的状态数据
  • 快照是映像在特定时间点的只读逻辑副本
  • 希望回到以前的一个状态，可以恢复快照
  • 使用镜像、快照综合示例
复制代码 
# 1. 在rbd存储池中创建10GB的镜像，名为img1
复制代码 
[root@client1 ~]# rbd --help   # 查看子命令
复制代码 
[root@client1 ~]# rbd help create  # 查看子命令create的帮助
复制代码 
[root@client1 ~]# rbd create img1 --size 10G
复制代码 
[root@client1 ~]# rbd list
复制代码 
img1
复制代码 
[root@client1 ~]# rbd info img1
复制代码 
rbd image 'img1':
复制代码 
        size 10 GiB in 2560 objects
复制代码 
        order 22 (4 MiB objects)
复制代码 
        snapshot_count: 0
复制代码 
        id: fa91208bfdaf
复制代码 
        block_name_prefix: rbd_data.fa91208bfdaf
复制代码 
        format: 2
复制代码 
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
复制代码 
        op_features:
复制代码 
        flags:
复制代码 
        create_timestamp: Sat Dec 17 10:44:17 2022
复制代码 
        access_timestamp: Sat Dec 17 10:44:17 2022
复制代码 
        modify_timestamp: Sat Dec 17 10:44:17 2022
复制代码 
# 2. 在客户端使用镜像img1，将其挂载到/mnt
复制代码 
[root@client1 ~]# rbd list
复制代码 
img1
复制代码 
[root@client1 ~]# rbd map img1
复制代码 
/dev/rbd0
复制代码 
[root@client1 ~]# mkfs.xfs /dev/rbd0
复制代码 
[root@client1 ~]# mount /dev/rbd0 /mnt/
复制代码 
[root@client1 ~]# rbd showmapped
复制代码 
id  pool  namespace  image  snap  device  
复制代码 
0   rbd              img1   -     /dev/rbd0
复制代码 
[root@client1 ~]# df -h /mnt/
复制代码 
Filesystem      Size  Used Avail Use% Mounted on
复制代码 
/dev/rbd0        10G  105M  9.9G   2% /mnt
复制代码 
# 3. 向/mnt中写入数据
复制代码 
[root@client1 ~]# cp /etc/hosts /mnt/
复制代码 
[root@client1 ~]# cp /etc/passwd /mnt/
复制代码 
[root@client1 ~]# ls /mnt/
复制代码 
hosts  passwd
复制代码 
# 4. 创建img1的快照，名为img1-sn1
复制代码 
[root@client1 ~]# rbd snap create img1 --snap img1-sn1
复制代码 
Creating snap: 100% complete...done.
复制代码 
[root@client1 ~]# rbd snap ls img1
复制代码 
SNAPID  NAME      SIZE    PROTECTED  TIMESTAMP              
复制代码 
     4  img1-sn1  10 GiB             Sat Dec 17 10:46:07 2022
复制代码
复制代码 
# 5. 删除/mnt/中的数据
复制代码 
[root@client1 ~]# rm -f /mnt/*
复制代码
复制代码 
# 6. 通过快照还原数据
复制代码 
[root@client1 ~]# umount /mnt/
复制代码 
[root@client1 ~]# rbd unmap /dev/rbd0
复制代码 
[root@client1 ~]# rbd help snap rollback   # 查看子命令帮助
复制代码 
# 回滚img1到快照img1-sn1
复制代码 
[root@client1 ~]# rbd snap rollback img1 --snap img1-sn1
复制代码 
# 重新挂载
复制代码 
[root@client1 ~]# rbd map img1
复制代码 
/dev/rbd0
复制代码 
[root@client1 ~]# mount /dev/rbd0 /mnt/
复制代码 
[root@client1 ~]# ls /mnt/   # 数据还原完成
复制代码 
hosts  passwd
  • 保护快照，防止删除
复制代码 
[root@client1 ~]# rbd help snap protect
复制代码 
# 保护镜像img1的快照img1-sn1
复制代码 
[root@client1 ~]# rbd snap protect img1 --snap img1-sn1
复制代码 
[root@client1 ~]# rbd snap rm img1 --snap img1-sn1   # 不能删
  • 删除操作
复制代码 
# 1. 取消对快照的保护
复制代码 
[root@client1 ~]# rbd snap unprotect img1 --snap img1-sn1
复制代码 
# 2. 删除快照
复制代码 
[root@client1 ~]# rbd snap rm img1 --snap img1-sn1
复制代码 
# 3. 卸载块设备
复制代码 
[root@client1 ~]# umount /dev/rbd0
复制代码 
# 4. 取消映射
复制代码 
[root@client1 ~]# rbd unmap img1
复制代码 
# 5. 删除镜像
复制代码 
[root@client1 ~]# rbd rm img1

快照克隆

  • 不能将一个镜像同时挂载到多个节点，如果这样操作，将会损坏数据
  • 如果希望不同的节点，拥有完全相同的数据盘，可以使用克隆技术
  • 克隆是基于快照的，不能直接对镜像克隆
  • 快照必须是受保护的快照，才能克隆
  • 克隆流程

创建

保护

克隆

镜像

快照

受保护的快照

克隆的镜像

  • 给多个客户端生成数据相同的数据盘
复制代码 
# 1. 创建名为img2的镜像，大小10GB
复制代码 
[root@client1 ~]# rbd create img2 --size 10G
复制代码 
# 2. 向镜像中写入数据
复制代码 
[root@client1 ~]# rbd map img2
复制代码 
/dev/rbd0
复制代码 
[root@client1 ~]# mkfs.xfs /dev/rbd0
复制代码 
[root@client1 ~]# mount /dev/rbd0 /mnt/
复制代码 
[root@client1 ~]# for i in {1..20}
复制代码 
> do
复制代码 
> echo "Hello World $i" > /mnt/file$i.txt
复制代码 
> done
复制代码 
[root@client1 ~]# ls /mnt/
复制代码 
file10.txt  file15.txt  file1.txt   file5.txt
复制代码 
file11.txt  file16.txt  file20.txt  file6.txt
复制代码 
file12.txt  file17.txt  file2.txt   file7.txt
复制代码 
file13.txt  file18.txt  file3.txt   file8.txt
复制代码 
file14.txt  file19.txt  file4.txt   file9.txt
复制代码 
# 3. 卸载镜像
复制代码 
[root@client1 ~]# umount /mnt/
复制代码 
[root@client1 ~]# rbd unmap img2
复制代码 
# 4. 为img2创建名为img2-sn1快照
复制代码 
[root@client1 ~]# rbd snap create img2 --snap img2-sn1
复制代码 
# 5. 保护img2-sn1快照
复制代码 
[root@client1 ~]# rbd snap protect img2 --snap img2-sn1
复制代码 
# 6. 通过受保护的快照img2-sn1创建克隆镜像
复制代码 
[root@client1 ~]# rbd clone img2 --snap img2-sn1 img2-sn1-1
复制代码 
[root@client1 ~]# rbd clone img2 --snap img2-sn1 img2-sn1-2
复制代码 
# 7. 查看创建出来的、克隆的镜像
复制代码 
[root@client1 ~]# rbd ls
复制代码 
img2
复制代码 
img2-sn1-1
复制代码 
img2-sn1-2
复制代码 
# 8. 不同的客户端挂载不同的克隆镜像，看到的是相同的数据
复制代码 
[root@client1 ~]# rbd map img2-sn1-1
复制代码 
/dev/rbd0
复制代码 
[root@client1 ~]# mkdir /data
复制代码 
[root@client1 ~]# mount /dev/rbd0 /data
复制代码 
[root@client1 ~]# ls /data
复制代码 
file10.txt  file15.txt  file1.txt   file5.txt
复制代码 
file11.txt  file16.txt  file20.txt  file6.txt
复制代码 
file12.txt  file17.txt  file2.txt   file7.txt
复制代码 
file13.txt  file18.txt  file3.txt   file8.txt
复制代码 
file14.txt  file19.txt  file4.txt   file9.txt
复制代码 
[root@ceph1 ~]# yum install -y ceph-common
复制代码 
[root@ceph1 ~]# rbd map img2-sn1-2
复制代码 
/dev/rbd0
复制代码 
[root@ceph1 ~]# mkdir /data
复制代码 
[root@ceph1 ~]# mount /dev/rbd0 /data/
复制代码 
[root@ceph1 ~]# ls /data/
复制代码 
file10.txt  file15.txt  file1.txt   file5.txt
复制代码 
file11.txt  file16.txt  file20.txt  file6.txt
复制代码 
file12.txt  file17.txt  file2.txt   file7.txt
复制代码 
file13.txt  file18.txt  file3.txt   file8.txt
复制代码 
file14.txt  file19.txt  file4.txt   file9.txt
  • 查询镜像和快照
复制代码 
# 查看快照信息
复制代码 
[root@client1 ~]# rbd info img2 --snap img2-sn1
复制代码 
rbd image 'img2':
复制代码 
        size 10 GiB in 2560 objects
复制代码 
        order 22 (4 MiB objects)
复制代码 
        snapshot_count: 1
复制代码 
        id: d46eed84bb61
复制代码 
        block_name_prefix: rbd_data.d46eed84bb61
复制代码 
        format: 2
复制代码 
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
复制代码 
        op_features:
复制代码 
        flags:
复制代码 
        create_timestamp: Sat Dec 17 10:58:05 2022
复制代码 
        access_timestamp: Sat Dec 17 10:58:05 2022
复制代码 
        modify_timestamp: Sat Dec 17 10:58:05 2022
复制代码 
        protected: True    # 受保护
复制代码
复制代码 
# 查看克隆的快照
复制代码 
[root@client1 ~]# rbd info img2-sn1-2
复制代码 
rbd image 'img2-sn1-2':
复制代码 
        size 10 GiB in 2560 objects
复制代码 
        order 22 (4 MiB objects)
复制代码 
        snapshot_count: 0
复制代码 
        id: d48fe3d6559e
复制代码 
        block_name_prefix: rbd_data.d48fe3d6559e
复制代码 
        format: 2
复制代码 
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
复制代码 
        op_features:
复制代码 
        flags:
复制代码 
        create_timestamp: Sat Dec 17 10:59:53 2022
复制代码 
        access_timestamp: Sat Dec 17 10:59:53 2022
复制代码 
        modify_timestamp: Sat Dec 17 10:59:53 2022
复制代码 
        parent: rbd/img2@img2-sn1  # 父对象是rbd池中img2镜像的img2-sn1快照
复制代码 
        overlap: 10 GiB

  • 合并父子镜像

    • img2-sn1-2是基于img2的快照克隆来的，不能独立使用。
    • 如果父镜像删除了，子镜像也无法使用。
    • 将父镜像内容合并到子镜像中，子镜像就可以独立使用了。
复制代码 
# 把img2的数据合并到子镜像img2-sn1-2中
复制代码 
[root@client1 ~]# rbd flatten img2-sn1-2
复制代码 
# 查看状态，它就没有父镜像了
复制代码 
[root@client1 ~]# rbd info img2-sn1-2
复制代码 
rbd image 'img2-sn1-2':
复制代码 
        size 10 GiB in 2560 objects
复制代码 
        order 22 (4 MiB objects)
复制代码 
        snapshot_count: 0
复制代码 
        id: d48fe3d6559e
复制代码 
        block_name_prefix: rbd_data.d48fe3d6559e
复制代码 
        format: 2
复制代码 
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
复制代码 
        op_features:
复制代码 
        flags:
复制代码 
        create_timestamp: Sat Dec 17 10:59:53 2022
复制代码 
        access_timestamp: Sat Dec 17 10:59:53 2022
复制代码 
        modify_timestamp: Sat Dec 17 10:59:53 2022
复制代码
复制代码 
# 删除父镜像，如果镜像正在被使用，则先取消
复制代码 
[root@client1 ~]# umount /data/
复制代码 
[root@client1 ~]# rbd unmap img2-sn1-1
复制代码 
# 1. 删除镜像img2-sn1-1
复制代码 
[root@client1 ~]# rbd rm img2-sn1-1
复制代码 
# 2. 取消img2-sn1的保护
复制代码 
[root@client1 ~]# rbd snap unprotect img2 --snap img2-sn1
复制代码 
# 3. 删除img2-sn1快照
复制代码 
[root@client1 ~]# rbd snap rm img2 --snap img2-sn1
复制代码 
# 4. 删除img2
复制代码 
[root@client1 ~]# rbd rm img2
复制代码
复制代码 
# 因为img2-sn1-2已经是独立的镜像了，所以它还可以使用
复制代码 
# ceph1上的镜像没有受到影响
复制代码 
[root@ceph1 ~]# cat /data/file1.txt
复制代码 
Hello World 1

开机自动挂载

复制代码 
# 1. 准备镜像
复制代码 
[root@client1 ~]# rbd create img1 --size 10G
复制代码 
[root@client1 ~]# rbd map img1
复制代码 
/dev/rbd0
复制代码 
[root@client1 ~]# mkfs.xfs /dev/rbd0
复制代码
复制代码 
# 2. 设置开机自动挂载
复制代码 
[root@client1 ~]# vim /etc/ceph/rbdmap  # 指定要挂载的镜像及用户名、密钥
复制代码 
rbd/img1        id=admin,keyring=/etc/ceph/ceph.client.admin.keyring
复制代码 
[root@client1 ~]# vim /etc/fstab  # 追加
复制代码 
/dev/rbd/rbd/img1   /data   xfs    noauto  0  0
复制代码 
# noauto的意思是，等rbdmap服务启动后，再执行挂载
复制代码
复制代码 
# 3. 启动rbdmap服务
复制代码 
[root@client1 ~]# systemctl enable rbdmap --now
复制代码
复制代码 
# 4. reboot后查看结果
复制代码 
[root@client1 ~]# df -h /data/
复制代码 
Filesystem      Size  Used Avail Use% Mounted on
复制代码 
/dev/rbd0        10G  105M  9.9G   2% /data

ceph文件系统

  • 文件系统：相当于是组织数据存储的方式。
  • 格式化时，就是在为存储创建文件系统。
  • Linux对ceph有很好的支持，可以把ceph文件系统直接挂载到本地。
  • 要想实现文件系统的数据存储方式，需要有MDS组件

使用MDS

  • 元数据就是描述数据的属性。如属主、属组、权限等。

  • ceph文件系统中，数据和元数据是分开存储的

  • 新建存储池

    • 归置组PG：存储池包含PG。PG是一个容器，用于存储数据。
    • 为了管理方便，将数量众多的数据放到不同的PG中管理，而不是直接把所有的数据扁平化存放。
    • 通常一个存储池中创建100个PG。

  • 创建ceph文件系统

复制代码 
# 1. 新建一个名为data1的存储池，目的是存储数据，有100个PG
复制代码 
[root@client1 ~]# ceph osd pool create data01 100
复制代码
复制代码 
# 2. 新建一个名为metadata1的存储池，目的是存储元数据
复制代码 
[root@client1 ~]# ceph osd pool create metadata01 100
复制代码
复制代码 
# 3. 创建名为myfs1的cephfs，数据保存到data1中，元数据保存到metadata1中
复制代码 
[root@client1 ~]# ceph fs new myfs01 metadata01 data01
复制代码
复制代码 
# 4. 查看存储池
复制代码 
[root@client1 ~]# ceph osd lspools
复制代码 
1 .mgr
复制代码 
2 rbd
复制代码 
3 data01
复制代码 
4 metadata01
复制代码 
[root@client1 ~]# ceph df
复制代码 
--- RAW STORAGE ---
复制代码 
CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
复制代码 
hdd    180 GiB  180 GiB  206 MiB   206 MiB       0.11
复制代码 
TOTAL  180 GiB  180 GiB  206 MiB   206 MiB       0.11
复制代码
复制代码 
--- POOLS ---
复制代码 
POOL        ID  PGS   STORED  OBJECTS     USED  %USED  MAX AVAIL
复制代码 
.mgr         1    1  449 KiB        2  1.3 MiB      0     57 GiB
复制代码 
rbd          2   32  7.1 MiB       43   22 MiB   0.01     57 GiB
复制代码 
data01       3   94      0 B        0      0 B      0     57 GiB
复制代码 
metadata01   4   94      0 B        0      0 B      0     57 GiB
复制代码 
    
复制代码 
# 5. 查看文件系统
复制代码 
[root@client1 ~]# ceph fs ls
复制代码 
name: myfs01, metadata pool: metadata01, data pools: [data01 ]
复制代码
复制代码 
# 6. 启动MDS服务
复制代码 
[root@client1 ~]# ceph orch apply mds myfs01 --placement="2 ceph1 ceph2"
复制代码
复制代码 
# 7. 查看部署结果
复制代码 
[root@client1 ~]# ceph -s
复制代码 
  cluster:
复制代码 
    id:     a4b69ab4-79dd-11ed-ae7b-000c2953b002
复制代码 
    health: HEALTH_OK
复制代码
复制代码 
  services:
复制代码 
    mon: 3 daemons, quorum ceph1,ceph3,ceph2 (age 92m)
复制代码 
    mgr: ceph1.gmqorm(active, since 92m), standbys: ceph3.giqaph
复制代码 
    mds: 1/1 daemons up, 1 standby  # mds服务信息
复制代码 
    osd: 9 osds: 9 up (since 92m), 9 in (since 4d)
复制代码 
...略...
  • 客户端使用cephfs
复制代码 
# 挂载文件系统需要密码。查看密码
复制代码 
[root@client1 ~]# cat /etc/ceph/ceph.client.admin.keyring
复制代码 
[client.admin]
复制代码 
    key = AQBmhINh1IZjHBAAvgk8m/FhyLiH4DCCrnrdPQ==
复制代码
复制代码 
# -t 指定文件系统类型。-o是选项，提供用户名和密码
复制代码 
[root@client1 ~]# mkdir /mydata
复制代码 
[root@client1 ~]# mount.ceph 192.168.88.13:/ /mydata -o name=admin,secret=AQC5u5ZjnTA1ERAAruLAI8F1W1nyOgxZSx0UXw==
复制代码 
[root@client1 ~]# df -h /mydata/
复制代码 
Filesystem       Size  Used Avail Use% Mounted on
复制代码 
192.168.88.13:/   57G     0   57G   0% /mydata

对象存储

配置服务器端

  • 需要专门的客户端访问
  • 键值对存储方式
  • 对象存储需要rgw组件
  • 安装部署
复制代码 
# 1. 在ceph1/ceph2上部署rgw服务，名为myrgw
复制代码 
[root@client1 ~]# ceph orch apply rgw myrgw --placement="2 ceph1 ceph2" --port 8080
复制代码
复制代码 
[root@client1 ~]# ceph -s
复制代码 
  cluster:
复制代码 
    id:     a4b69ab4-79dd-11ed-ae7b-000c2953b002
复制代码 
    health: HEALTH_OK
复制代码
复制代码 
  services:
复制代码 
    mon: 3 daemons, quorum ceph1,ceph3,ceph2 (age 101m)
复制代码 
    mgr: ceph1.gmqorm(active, since 6h), standbys: ceph3.giqaph
复制代码 
    mds: 1/1 daemons up, 1 standby
复制代码 
    osd: 9 osds: 9 up (since 6h), 9 in (since 5d); 1 remapped pgs
复制代码 
    rgw: 2 daemons active (2 hosts, 1 zones)  # rgw信息
复制代码 
...略...

配置客户端

  • ceph对象存储提供了一个与亚马逊S3（Amazon Simple Storage Service）兼容的接口
  • 在S3中，对象被存储在一个称作桶（bucket）的器皿中。这就好像是本地文件存储在目录中一样。
复制代码 
# 1. 安装amazon S3 cli工具（客户端工具）
复制代码 
[root@client1 ~]# yum install -y awscli
复制代码
复制代码 
# 2. 在ceph中创建一个用户
复制代码 
[root@client1 ~]# radosgw-admin user create --uid=testuser --display-name="Test User" --email=test@tedu.cn --access-key=12345 --secret=67890
复制代码
复制代码 
# 3. 初始化客户端
复制代码 
[root@client1 ~]# aws configure --profile=ceph
复制代码 
AWS Access Key ID [None]: 12345
复制代码 
AWS Secret Access Key [None]: 67890
复制代码 
Default region name [None]:   # 回车
复制代码 
Default output format [None]: # 回车
复制代码
复制代码 
# 4. 创建名为testbucket的bucket，用于存储数据
复制代码 
[root@client1 ~]# vim /etc/hosts  # 添加以下内容
复制代码 
192.168.88.11 ceph1
复制代码 
192.168.88.12 ceph2
复制代码 
192.168.88.13 ceph
复制代码 
[root@client1 ~]# aws --profile=ceph --endpoint=http://ceph1:8080 s3 mb s3://testbucket
复制代码
复制代码 
# 5. 上传文件
复制代码 
[root@client1 ~]# aws --profile=ceph --endpoint=http://ceph1:8080 --acl=public-read-write s3 cp /etc/hosts s3://testbucket/hosts.txt
复制代码
复制代码 
# 6. 查看bucket中的数据
复制代码 
[root@client1 ~]# aws --profile=ceph --endpoint=http://ceph1:8080 s3 ls s3://testbucket
复制代码 
2022-12-17 17:05:58        241 hosts.txt
复制代码
复制代码 
# 7. 下载数据
复制代码 
[root@client1 ~]# wget -O zhuji http://ceph1:8080/testbucket/hosts.txt

访问Dashborad

  • 通过浏览器访问https://192.168.88.11:8443，用户名为admin，密码是安装时指定的123456。

知识点思维导图：FlowUs 息流 - 新一代生产力工具

相关推荐
踏雪Vernon11 分钟前
[OpenHarmony5.0][环境][教程]OpenHarmony 5.0源码在WSL2 Ubuntu22.04 编译环境搭建教程
linux·docker·鸿蒙系统
vvw&16 分钟前
如何在 Ubuntu 22 04 上安装和配置 Ansible 自动化平台
linux·运维·服务器·ubuntu·自动化·github·ansible
AttackingLin20 分钟前
计网-命令行实现收发邮件
服务器·网络
元清加油1 小时前
【Git】：Git基本操作
运维·git
Knoka7051 小时前
本地推流，服务器拉流全流程
运维·服务器
davenian5 小时前
＜OS 有关＞ ubuntu 24 不同版本介绍 安装 Vmware tools
linux·ubuntu·vmware
Simulink_6 小时前
ROS学习笔记15——Xacro
linux·笔记·学习·机器人·ros
北京迅为6 小时前
【北京迅为】iTOP-4412全能版使用手册- 第五章 Linux常用命令
linux·嵌入式硬件·4412开发板
南暮思鸢6 小时前
应急响应靶机——linux2
linux·网络安全·wireshark·write up·应急响应靶机系列·宝塔面板利用·webshell流量分析
sun0077007 小时前
ubuntu增加swap交换空间
linux·运维·服务器
热门推荐
01Docker 夺命连环 15 问02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07抖音的互联网架构08使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统09RAG 实践- Ollama+RagFlow 部署本地知识库10国内外大模型汇总：Open AI大模型、Google大模型、Microsoft大模型、文心一言大模型、通义千问大模型、字节豆包大模型、智普清言大模型