Ceph - 1

一、存储概念解析

分布式存储

概念

• 是一种独特的系统架构
• 由一组能够通过网络连通，为了完成共同任务而协调任务的计算机节点组成
• 分布式是为了使用廉价的普通的计算机完成复杂的计算和存储任务
• 目的就是利用更多的机器处理更多的数据或任务

特性

• 可扩展：分布式存储系统可以扩展到几百台甚至几千台的集群规模，而且随着集群规模的增长，系统整体性能表现为线性增长

• 低成本：分布式存储系统的自动容错、自动负载均衡机制使其可以构建在普通的PC机之上。另外，线性扩展能力也使得增加、减少机器非常方便，可以实现自动运维

• 高性能：无论是针对整个集群还是单台服务器，都要求分布式存储系统具备高性能

• 易用：分布式存储系统需要能够提供易用的对外接口，另外，也要求具备完善的监控、运维工具，并与其他系统集成

• 分布式算法

  • 哈希分布
  • 顺序分布

• 常用分布式存储方案

  • Lustre
  • Hadoop
  • FastDFS
  • GlusterFS
  • Ceph

二、Ceph概述

Ceph概念

什么是Ceph

• Ceph是一个分布式存储系统，具有高扩展、高可用、高性能等特点
• Ceph可以提供块存储、文件存储、对象存储
• Ceph支持EB级别的存储空间
• 作为软件定义存储(Software Define Storage)的优秀解决方案在行业中已得到广泛应用

Ceph架构图

Ceph组件及协同工作

核心组件

• 监视器：MON(Monitor)

  • Monitor负责管理Ceph集群的整体状态、配置信息和监控数据
  • 维护集群状态图和管理守护程序和客户端之间的身份验证
  • 它们定期选举一个Leader来协调集群中的其他节点，并接收和处理客户端和OSD的请求
  • 为了冗余和高可用性，通常至少需要三台Monitor

• 管理器：MGR(Manager)

  • Manager提供集群管理功能，包括集群状态监控、元数据管理、REST API接口等
  • 托管基于python的模块来管理和公开Ceph集群信息，包括基于web的Ceph仪表板和REST API
  • 以便管理员和用户可视化地管理和操作Ceph集群
  • 高可用性通常需要至少两台Manager

• OSD（Object Storage Daemon）

  • OSD是Ceph存储集群的核心组件
  • 负责存储数据和处理数据的复制、恢复和再平衡
  • 通过检查其他Ceph OSD守护进程的心跳来为Ceph监视器和管理器提供一些监视信息
  • 每个OSD节点都有一个或多个OSD进程来管理对应的存储设备
  • 为了实现冗余和高可用性，通常至少需要三个Ceph OSD

• MDS（Metadata Server）

  • MDS用于支持Ceph文件系统 (CephFS)
  • 负责维护文件系统的元数据
  • 回答客户端的访问请求，负责文件名到inode的映射，以及跟踪文件锁

• RGW（RADOS Gateway）

  • RGW是Ceph提供的对象存储网关，兼容S3和Swift协议
  • 它为用户提供了通过RESTful API与Ceph存储集群进行交互的能力

辅助工具

• Rados

  • RADOS（可靠、自适应分布式对象存储）是底层的分布式对象存储系统
  • 作为Ceph存储引擎的一部分，提供高性能、可扩展的对象存储服务

• CephFS

  • CephFS是Ceph的分布式文件系统
  • 通过将文件存储在RADOS中实现了文件级别的访问

• Librados

  • librados是Ceph提供的客户端库，允许开发人员编写基于Ceph的应用程序

Ceph工作图

Ceph数据存储

• 名词解释

  • Object：对象

    • Ceph最底层的存储单元
    • 每个Object包含元数据和数据

  • Pool：存储池

    • 是存储对象的逻辑区分
    • 规定了数据冗余的类型和对应的副本分布策略
    • 支持两种类型：副本和纠删码，目前基本上使用的都是3副本类型

  • PG（Placement Groups）：数据放置组

    • 是一个逻辑概念
    • 引入这一层是为了更好的分配和定位数据

  • CRUSH：算法

    • 是Ceph使用的数据分布算法
    • 确保数据分配到预期的地方
    • 是容灾级别的控制策略
    • 支持Ceph存储集群动态扩展、重新平衡和恢复

三、ceph搭建

实验环境准备

关闭防火墙和SELinux

主机名	IP地址	角色	内存/硬盘
pubserver（已存在）	eth0：192.168.88.240	ansible主机	无须更改
client（已存在）	eth0：192.168.88.10	客户端	无须更改
ceph1	eth0：192.168.88.11	ceph集群	4G / 额外加3块20G硬盘
ceph2	eth0：192.168.88.12	ceph集群	4G / 额外加3块20G硬盘
ceph3	eth0：192.168.88.13	ceph集群	4G / 额外加3块20G硬盘

Ansible配置

配置Ansible

编写Ansible相关配置

root@pubserver \~\]# mkdir ceph \[root@pubserver \~\]# cd ceph/ **\[root@pubserver ceph\]# vim ansible.cfg** > \[defaults

inventory = inventory

module_name = shell

host_key_checking = false

roles_path = roles #将当前目录下的 roles 文件夹设置为 Ansible 查找角色的路径。

root@pubserver ceph\]# mkdir roles \[root@pubserver ceph\]# vim inventory > \[ceph

ceph1 ansible_ssh_host=192.168.88.11

ceph2 ansible_ssh_host=192.168.88.12

ceph3 ansible_ssh_host=192.168.88.13

clients

client ansible_ssh_host=192.168.88.10

all:vars

ansible_ssh_user=root #登录用户

ansible_ssh_pass=a #自定义用户密码

# 验证Ansible配置，确认CEPH节点内存和硬盘信息

root@pubserver ceph\]# ansible all -m ping \[root@pubserver ceph\]# ansible ceph -a "free -h" ceph3 \| CHANGED \| rc=0 \>\> total used free shared buff/cache available Mem: 3.7Gi 125Mi 3.5Gi 16Mi 111Mi 3.4Gi Swap: 0B 0B 0B ceph2 \| CHANGED \| rc=0 \>\> total used free shared buff/cache available Mem: 3.7Gi 125Mi 3.5Gi 16Mi 111Mi 3.4Gi Swap: 0B 0B 0B ceph1 \| CHANGED \| rc=0 \>\> total used free shared buff/cache available Mem: 3.7Gi 125Mi 3.5Gi 16Mi 111Mi 3.4Gi Swap: 0B 0B 0B \[root@pubserver ceph\]# ansible ceph -a "lsblk" ceph1 \| CHANGED \| rc=0 \>\> NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 253:0 0 20G 0 disk └─vda1 253:1 0 20G 0 part / vdb 253:16 0 20G 0 disk vdc 253:32 0 20G 0 disk vdd 253:48 0 20G 0 disk ceph3 \| CHANGED \| rc=0 \>\> NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 253:0 0 20G 0 disk └─vda1 253:1 0 20G 0 part / vdb 253:16 0 20G 0 disk vdc 253:32 0 20G 0 disk vdd 253:48 0 20G 0 disk ceph2 \| CHANGED \| rc=0 \>\> NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 253:0 0 20G 0 disk └─vda1 253:1 0 20G 0 part / vdb 253:16 0 20G 0 disk vdc 253:32 0 20G 0 disk vdd 253:48 0 20G 0 disk ### 基础准备工作 * **更新自定义yum源，加入Ceph相关软件** ## 更新自定义yum源 \[root@server1 \~\]# scp /linux-soft/s2/zzg/ceph_soft/cephclient-rpm/\* root@192.168.88.240:/var/ftp/rpms/ \[root@pubserver \~\]# createrepo --update /var/ftp/rpms/ #更新yum源repodata信息 **## 更新所有节点yum源** \[root@pubserver ceph\]# mkdir files \[root@pubserver ceph\]# vim files/local88.repo > \[BaseOS

name=RockyLinux BaseOS

baseurl="ftp://192.168.88.240/dvd/BaseOS/"

enabled=1

gpgcheck=0

AppStream

name=RockyLinux AppStream

baseurl="ftp://192.168.88.240/dvd/AppStream/"

enabled=1

gpgcheck=0

rpms

name=local rpms

baseurl="ftp://192.168.88.240/rpms/"

enabled=1

gpgcheck=0

root@pubserver ceph\]# vim 02_update_yum.yml > --- > > - name: update yum > > hosts: all > > tasks: > > - name: remove dir #删除目录 > > file: > > path: /etc/yum.repos.d/ > > state: absent > > - name: create dir #创建目录 > > file: > > path: /etc/yum.repos.d/ > > state: directory > > - name: upload file #发送repo文件 > > copy: > > src: files/local88.repo > > dest: /etc/yum.repos.d/local88.repo \[root@pubserver ceph\]# ansible-playbook 02_update_yum.yml * **配置所有节点主机名解析** ## 添加所有节点主机名解析配置 # blockinfile模块跟lineinfile基本一样，向指定文件内加入一段内容 # 192.168.88.240必须解析为**quay.io**！！！ \[root@pubserver ceph\]# vim 01_update_hosts.yml > --- > > - name: update hosts > > hosts: all > > tasks: > > - name: add host resolv #修改/etc/hosts文件添加主机名映射 > > blockinfile: > > path: /etc/hosts > > block: \| > > 192.168.88.10 client > > 192.168.88.11 ceph1 > > 192.168.88.12 ceph2 > > 192.168.88.13 ceph3 > > 192.168.88.240 quay.io \[root@pubserver ceph\]# ansible-playbook 01_update_hosts.yml \[root@pubserver ceph\]# ansible all -a "tail -7 /etc/hosts" * **配置时间同步服务** ## 配置时间同步服务Chronyd # 配置服务端 \[root@pubserver \~\]# timedatectl #查看系统时间配置 \[root@pubserver \~\]# timedatectl set-timezone Asia/Shanghai #设置时区为上海 \[root@pubserver \~\]# date \[root@pubserver \~\]# date -s "年-月-日 时:分:秒" #如果日期时间不对则修改 \[root@pubserver \~\]# **yum -y install chrony** #已经安装 \[root@pubserver \~\]# **vim /etc/chrony.conf** > ... > > 25 allow 192.168.88.0/24 #允许88网段主机同步时间 > > 26 > > 27 # Serve time even if not synchronized to a time source. > > 28 local stratum 10 #向下10层同步时间 > > ... \[root@pubserver \~\]# **systemctl enable chronyd** #设置服务开机自启动 \[root@pubserver \~\]# **systemctl restart chronyd** #重启chronyd服务 \[root@pubserver \~\]# ss -antlpu \| grep chronyd udp UNCONN 0 0 127.0.0.1:323 0.0.0.0:\* users:(("chronyd",pid=9225,fd=5)) udp UNCONN 0 0 0.0.0.0:123 0.0.0.0:\* users:(("chronyd",pid=9225,fd=6)) \[root@pubserver \~\]# **# 配置客户端(使用系统角色)** \[root@pubserver \~\]# **yum -y install rhel-system-roles** \[root@pubserver ceph\]#**cp -r /usr/share/ansible/roles/rhel-system-roles.timesync/ ./roles/timesync** # 将 RHEL 系统自带的 `timesync` 角色复制到你当前 Ansible 项目 \[root@pubserver ceph\]# ansible-galaxy list #快速查看当前环境中已安装的 Ansible 角色 # /root/ceph/roles - timesync, (unknown version) \[root@pubserver ceph\]# vim 03_timesync.yml > --- > > - name: config ntp #利用timesync角色配置时间服务 > > hosts: all > > vars: > > timesync_ntp_servers: > > - hostname: 192.168.88.240 > > iburst: yes > > roles: > > - timesync \[root@pubserver ceph\]# ansible-playbook 03_timesync.yml \[root@pubserver ceph\]# ansible all -a "chronyc sources" chronyc sources #列出所有配置的时间源（NTP 服务器）及其同步状态 ceph1 \| CHANGED \| rc=0 \>\> MS Name/IP address Stratum Poll Reach LastRx Last sample =============================================================================== \^\* quay.io 4 6 177 10 +12us\[ +20us\] +/- 39ms ceph3 \| CHANGED \| rc=0 \>\> MS Name/IP address Stratum Poll Reach LastRx Last sample =============================================================================== \^\* quay.io 4 6 177 11 -29us\[ -31us\] +/- 38ms ceph2 \| CHANGED \| rc=0 \>\> MS Name/IP address Stratum Poll Reach LastRx Last sample =============================================================================== \^\* quay.io 4 6 177 11 +17us\[ +37us\] +/- 38ms client \| CHANGED \| rc=0 \>\> MS Name/IP address Stratum Poll Reach LastRx Last sample =============================================================================== \^\* quay.io 4 6 177 10 -10us\[ -21us\] +/- 38ms * **Ceph节点安装必要软件** ## Ceph节点安装必要软件 # Ceph-Quincy版本采用容器化方式部署 # 要求Ceph节点有Python3环境，容器管理工具podman或docker，lvm2软件 \[root@pubserver ceph\]# vim 04_inst_pkgs.yml > --- > > - name: install pkgs > > hosts: ceph > > tasks: > > - name: install pkgs #安装必备软件 > > yum: > > name: python39,podman,lvm2 > > state: present \[root@pubserver ceph\]# ansible-playbook 04_inst_pkgs.yml * **搭建私有Ceph镜像仓库** ## 搭建私有容器镜像仓库 # 部署Ceph-Quincy集群需要使用cephadm工具，该工具为一个Python脚本 # 部署过程中需要连接到公网quay.io站点下载Ceph相关镜像 # 为规避无法连接外网或同一时间大量下载造成网络卡顿，故需自己部署一个私有站点quay.io欺骗cephadm工具 # 上传Ceph集群相关文件(cephadm脚本和Ceph镜像) \[root@server1 \~\]# scp -r /linux-soft/s2/zzg/ceph_soft/ceph-server/ root@192.168.88.240:/root # 搭建私有镜像仓库 \[root@pubserver ceph\]# cd /root/**ceph-server**/ \[root@pubserver ceph-server\]# yum -y install docker-distribution-2.6.2-2.git48294d9.el7.x86_64.rpm \[root@pubserver ceph-server\]# vim /etc/docker-distribution/registry/config.yml Docker 私有镜像仓库（Docker Registry）的核心文件。这个 `config.yml` 文件决定了仓库的存储位置、监听端口、访问日志等关键行为。 > version: 0.1 > > log: > > fields: > > service: registry > > storage: > > cache: > > layerinfo: inmemory > > filesystem: > > rootdirectory: /var/lib/registry > > http: > > addr: :80 #端口由5000调整为80，必须调整，否则后续下载镜像时会有报错 \[root@pubserver ceph-server\]# systemctl enable --now docker-distribution.service \[root@pubserver ceph-server\]# ss -antpul \| grep :80 #确认80端口被registry进程占用 tcp LISTEN 0 128 \*:80 \*:\* users:(("registry",pid=11002,fd=3)) \[root@pubserver ceph-server\]# curl http://localhost/v2/_catalog {"repositories":\[\]} #此时仓库为空 # 导入Ceph镜像 \[root@pubserver ceph-server\]# vim /etc/hosts 192.168.88.240 quay.io \[root@pubserver ceph-server\]# **yum -y install podman** \[root@pubserver ceph-server\]# vim /etc/containers/registries.conf #配置私有仓库，文件最后追加 > ... > > \[\[registry\]

location = "quay.io" #私有仓库地址

insecure = true #可以使用http协议

#导入Ceph相关镜像到本地

root@pubserver ceph-server\]# for i in \*.tar do podman load -i $i done \[root@pubserver ceph-server\]# podman images REPOSITORY TAG IMAGE ID CREATED SIZE quay.io/ceph/ceph v17 cc65afd6173a 17 months ago 1.4 GB quay.io/ceph/ceph-grafana 8.3.5 dad864ee21e9 24 months ago 571 MB quay.io/prometheus/prometheus v2.33.4 514e6a882f6e 2 years ago 205 MB quay.io/prometheus/node-exporter v1.3.1 1dbe0e931976 2 years ago 22.3 MB quay.io/prometheus/alertmanager v0.23.0 ba2b418f427c 2 years ago 58.9 MB # 推送镜像到私有仓库 > \[root@pubserver ceph-server\]# podman push quay.io/ceph/ceph:v17 > > \[root@pubserver ceph-server\]# podman push quay.io/ceph/ceph-grafana:8.3.5 > > \[root@pubserver ceph-server\]# podman push quay.io/prometheus/prometheus:v2.33.4 > > \[root@pubserver ceph-server\]# podman push quay.io/prometheus/node-exporter:v1.3.1 > > \[root@pubserver ceph-server\]# podman push quay.io/prometheus/alertmanager:v0.23.0 # 验证私有仓库中Ceph镜像保存情况 \[root@pubserver ceph-server\]# curl http://quay.io/v2/_catalog {"repositories":\["ceph/ceph","ceph/ceph-grafana","prometheus/alertmanager","prometheus/node-exporter","prometheus/prometheus"\]} # 配置Ceph节点使用私有镜像仓库 \[root@pubserver \~\]# cd /root/ceph \[root@pubserver ceph\]# vim 05_config_priv_registry.yml > --- > > - name: config private registry > > hosts: ceph > > tasks: > > - name: add quay.io #配置私有registry仓库 > > blockinfile: > > path: /etc/containers/registries.conf > > block: \| > > \[\[registry\]

location = "quay.io"

insecure = true

root@pubserver ceph\]# ansible-playbook 05_config_priv_registry.yml \[root@pubserver ceph\]# ansible ceph -a 'tail -5 /etc/containers/registries.conf' ceph1 \| CHANGED \| rc=0 \>\> # BEGIN ANSIBLE MANAGED BLOCK \[\[registry\]

location = "quay.io"

insecure = true

END ANSIBLE MANAGED BLOCK

ceph2 | CHANGED | rc=0 >>

BEGIN ANSIBLE MANAGED BLOCK

\[registry\]

location = "quay.io"

insecure = true

END ANSIBLE MANAGED BLOCK

ceph3 | CHANGED | rc=0 >>

BEGIN ANSIBLE MANAGED BLOCK

\[registry\]

location = "quay.io"

insecure = true

END ANSIBLE MANAGED BLOCK

# 建议搭建Ceph集群前临时撤掉Ceph节点网关，禁止Ceph节点连接公网

# 目的是防止因准备步骤有误造成去公网拉取镜像造成网络阻塞甚至导致集群初始化或扩容失败

root@pubserver ceph\]# ansible ceph -a "route del default gw 192.168.88.254" ### Ceph搭建 * Cephadm工具 * Cephadm使用容器和systemd安装和管理Ceph集群，并与CLI（命令行）和dashboard GUI紧密 集成 * cephadm与新的编排API完全集成，并完全支持新的CLI和仪表板功能来管理集群部署 * cephadm需要容器支持(podman或docker)和Python 3 * cephadm是一个用于管理Ceph集群的实用程序。可以使用它： * 将Ceph容器添加到集群中 * 从群集中删除一个Ceph容器 * 更新Ceph容器 #### 创建ceph集群 ## 搭建Ceph集群 # Ceph1节点作为初始化节点 # Ceph在使用过程中是无中心化结构，但搭建过程中选择集群某一个节点作为初始化管理节点，然后扩容其他节点 # 上传cephadm脚本 \[root@server1 \~\]# scp /linux-soft/s2/zzg/ceph_soft/ceph-server/cephadm root@192.168.88.11:/root **# 使用cephadm初始化Ceph集群** \[root@ceph1 \~\]# ls -l cephadm -rwxr-xr-x 1 root root 357805 May 21 18:04 cephadm **\[root@ceph1 \~\]# chmod +x cephadm #如果没有x权限则执行本命令赋予脚本x权限** **\[root@ceph1 \~\]# sed -i '/5000/s/:5000//' cephadm #必须操作，调整镜像地址！！** **\[root@ceph1 \~\]# sed -rn '46,60p' cephadm #确认cephadm脚本中:5000被去掉** # Default container images ----------------------------------------------------- DEFAULT_IMAGE = 'quay.io/ceph/ceph:v17' DEFAULT_IMAGE_IS_MASTER = False DEFAULT_IMAGE_RELEASE = 'quincy' DEFAULT_PROMETHEUS_IMAGE = 'quay.io/prometheus/prometheus:v2.33.4' DEFAULT_LOKI_IMAGE = 'docker.io/grafana/loki:2.4.0' DEFAULT_PROMTAIL_IMAGE = 'docker.io/grafana/promtail:2.4.0' DEFAULT_NODE_EXPORTER_IMAGE = 'quay.io/prometheus/node-exporter:v1.3.1' DEFAULT_ALERT_MANAGER_IMAGE = 'quay.io/prometheus/alertmanager:v0.23.0' DEFAULT_GRAFANA_IMAGE = 'quay.io/ceph/ceph-grafana:8.3.5' DEFAULT_HAPROXY_IMAGE = 'quay.io/ceph/haproxy:2.3' DEFAULT_KEEPALIVED_IMAGE = 'quay.io/ceph/keepalived:2.1.5' DEFAULT_SNMP_GATEWAY_IMAGE = 'docker.io/maxwo/snmp-notifier:v1.2.1' DEFAULT_REGISTRY = 'docker.io' # normalize unqualified digests to this # ------------------------------------------------------------------------------ **\[root@ceph1 \~\]# ./cephadm bootstrap --mon-ip 192.168.88.11 --initial-dashboard-password=123456 --dashboard-password-noupdate #指定初始化节点IP地址，指定dashboard面板密码，不更新dashboard面板密码** # 等待三分钟左右，确认初始化结果(Ceph1节点下载5个镜像，启动7个容器) \[root@ceph1 \~\]# **podman images #列出本地存储中的容器镜像** REPOSITORY TAG IMAGE ID CREATED SIZE quay.io/ceph/ceph v17 cc65afd6173a 17 months ago 1.4 GB quay.io/ceph/ceph-grafana 8.3.5 dad864ee21e9 24 months ago 571 MB quay.io/prometheus/prometheus v2.33.4 514e6a882f6e 2 years ago 205 MB quay.io/prometheus/node-exporter v1.3.1 1dbe0e931976 2 years ago 22.3 MB quay.io/prometheus/alertmanager v0.23.0 ba2b418f427c 2 years ago 58.9 MB \[root@ceph1 \~\]#**podman ps #查看正在启用的容器** CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES bba0d99ea82d quay.io/ceph/ceph:v17 -n mon.ceph1 -f -... 3 minutes ago Up 3 minutes ago ceph-25abe31e-f0a1-11ee-865f-52540064d52b-mon-ceph1 6941cbfb4cd8 quay.io/ceph/ceph:v17 -n mgr.ceph1.zmgy... 3 minutes ago Up 3 minutes ago ceph-25abe31e-f0a1-11ee-865f-52540064d52b-mgr-ceph1-zmgyyq a83997481c89 quay.io/ceph/ceph@sha256:acdebfa95714d289fe1491195d0a88d9f0d518d2e4b3eaab4dac0ce276c4c568 -n client.crash.c... About a minute ago Up About a minute ago ceph-25abe31e-f0a1-11ee-865f-52540064d52b-crash-ceph1 48a02cec3420 quay.io/prometheus/node-exporter:v1.3.1 --no-collector.ti... About a minute ago Up About a minute ago ceph-25abe31e-f0a1-11ee-865f-52540064d52b-node-exporter-ceph1 0ca222a96e34 quay.io/prometheus/prometheus:v2.33.4 --config.file=/et... 48 seconds ago Up 48 seconds ago ceph-25abe31e-f0a1-11ee-865f-52540064d52b-prometheus-ceph1 b983a78a9e02 quay.io/prometheus/alertmanager:v0.23.0 --cluster.listen-... 33 seconds ago Up 33 seconds ago ceph-25abe31e-f0a1-11ee-865f-52540064d52b-alertmanager-ceph1 9b946f0ea966 quay.io/ceph/ceph-grafana:8.3.5 /bin/bash 29 seconds ago Up 29 seconds ago ceph-25abe31e-f0a1-11ee-865f-52540064d52b-grafana-ceph1 **## 管理Ceph集群** > **# 方法一：./cephadm shell进入管理容器，无需额外装包但命令行无法补全** > > **# 方法二：安装ceph-common包，额外装包但命令行可以补全** \[root@ceph1 \~\]# yum -y install ceph-common.x86_64 #装完包后重新登录终端刷新bash环境 \[root@ceph1 \~\]# **ceph -s #查看Ceph集群状态** cluster: id: 2ca9f32a-f0a3-11ee-83c6-52540081f933 health: HEALTH_WARN #此时状态为WARN，因为还没部署osd组件 OSD count 0 \< osd_pool_default_size 3 services: mon: 1 daemons, quorum ceph1 (age 2h) mgr: ceph1.qgermx(active, since 2h) osd: 0 osds: 0 up, 0 in data: pools: 0 pools, 0 pgs objects: 0 objects, 0 B usage: 0 B used, 0 B / 0 B avail pgs: \[root@ceph1 \~\]# **ceph orch ls #查看Ceph集群容器信息，n/m的含义是"正在运行/预期运行"** NAME PORTS RUNNING REFRESHED AGE PLACEMENT alertmanager ?:9093,9094 1/1 8m ago 2h count:1 crash 1/1 8m ago 2h \* grafana ?:3000 1/1 8m ago 2h count:1 mgr 1/2 8m ago 2h count:2 mon 1/5 8m ago 2h count:5 node-exporter ?:9100 1/1 8m ago 2h \* prometheus ?:9095 1/1 8m ago 2h count:1 > **# 同步ceph公钥(Quincy版本的Ceph使用自己的ssh秘钥，用于后续操作扩容进集群的节点)** > > \[root@ceph1 \~\]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph1 > > \[root@ceph1 \~\]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph2 > > \[root@ceph1 \~\]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph3 **# Ceph集群扩容** \[root@ceph1 \~\]# ceph orch host ls HOST ADDR LABELS STATUS ceph1 192.168.88.11 _admin 1 hosts in cluster \[root@ceph1 \~\]# ceph orch host add ceph2 192.168.88.12 #将ceph2加入集群 \[root@ceph1 \~\]# ceph orch host add ceph3 192.168.88.13 #将ceph3加入集群 \[root@ceph1 \~\]# ceph orch host ls #确认Ceph集群扩容情况 HOST ADDR LABELS STATUS ceph1 192.168.88.11 _admin ceph2 192.168.88.12 ceph3 192.168.88.13 3 hosts in cluster **# 注：删除错误的主机命令为：ceph orch host rm 主机名 --force** # 确认扩容结果，扩容后等待一会儿，新节点要下载镜像启动容器 \[root@ceph1 \~\]# ceph orch ls #crash为3/3则集群扩容成功 NAME PORTS RUNNING REFRESHED AGE PLACEMENT alertmanager ?:9093,9094 1/1 3m ago 2h count:1 crash 3/3 3m ago 2h \* grafana ?:3000 1/1 3m ago 2h count:1 mgr 2/2 3m ago 2h count:2 mon 3/5 3m ago 2h count:5 node-exporter ?:9100 3/3 3m ago 2h \* prometheus ?:9095 1/1 3m ago 2h count:1 **# 调整mon和mgr数量** **\[root@ceph1 \~\]# ceph orch apply mon --placement="3 ceph1 ceph2 ceph3"** **\[root@ceph1 \~\]# ceph orch apply mgr --placement="3 ceph1 ceph2 ceph3"** # 等待一会儿确认调整结果，集群需要重新调度容器，mon和mgr均为3/3则调整成功 \[root@ceph1 \~\]# ceph orch ls NAME PORTS RUNNING REFRESHED AGE PLACEMENT alertmanager ?:9093,9094 1/1 26s ago 2h count:1 crash 3/3 30s ago 2h \* grafana ?:3000 1/1 26s ago 2h count:1 mgr 3/3 30s ago 19s ceph1;ceph2;ceph3;count:3 mon 3/3 30s ago 36s ceph1;ceph2;ceph3;count:3 node-exporter ?:9100 3/3 30s ago 2h \* prometheus ?:9095 1/1 26s ago 2h count:1 \[root@ceph1 \~\]# ceph -s cluster: id: 2ca9f32a-f0a3-11ee-83c6-52540081f933 health: HEALTH_WARN #尚未启动OSD造成WARN状态 OSD count 0 \< osd_pool_default_size 3 services: mon: 3 daemons, quorum ceph1,ceph2,ceph3 (age 2m) mgr: ceph1.qgermx(active, since 2h), standbys: ceph2.itkjyd, ceph3.asqmxz osd: 0 osds: 0 up, 0 in data: pools: 0 pools, 0 pgs objects: 0 objects, 0 B usage: 0 B used, 0 B / 0 B avail pgs: **# 启动OSD，绑定Ceph节点上的硬盘设备(每个硬盘设备对应一个OSD守护进程)** > \[root@ceph1 \~\]# ceph orch daemon add osd ceph1:/dev/vdb > > \[root@ceph1 \~\]# ceph orch daemon add osd ceph1:/dev/vdc > > \[root@ceph1 \~\]# ceph orch daemon add osd ceph1:/dev/vdd > > \[root@ceph1 \~\]# ceph orch daemon add osd ceph2:/dev/vdb > > \[root@ceph1 \~\]# ceph orch daemon add osd ceph2:/dev/vdc > > \[root@ceph1 \~\]# ceph orch daemon add osd ceph2:/dev/vdd > > \[root@ceph1 \~\]# ceph orch daemon add osd ceph3:/dev/vdb > > \[root@ceph1 \~\]# ceph orch daemon add osd ceph3:/dev/vdc > > \[root@ceph1 \~\]# ceph orch daemon add osd ceph3:/dev/vdd #以上9条命令可以直接使用这条命令添加 **\[root@ceph1 \~\]# ceph orch apply osd --all-available-devices** # 检查Ceph相关进程状态和数量 \[root@ceph1 \~\]# ceph orch ls NAME PORTS RUNNING REFRESHED AGE PLACEMENT alertmanager ?:9093,9094 1/1 75s ago 3h count:1 crash 3/3 6m ago 3h \* grafana ?:3000 1/1 75s ago 3h count:1 mgr 3/3 6m ago 18m ceph1;ceph2;ceph3;count:3 mon 3/3 6m ago 19m ceph1;ceph2;ceph3;count:3 node-exporter ?:9100 3/3 6m ago 3h \* osd 9 6m ago - \ prometheus ?:9095 1/1 75s ago 3h count:1 \[root@ceph1 \~\]# ceph orch ps #查看Ceph集群所有的容器 \[root@ceph1 \~\]# ceph orch ps --daemon-type=mon #3个容器 \[root@ceph1 \~\]# ceph orch ps --daemon-type=mgr #3个容器 \[root@ceph1 \~\]# ceph orch ps --daemon-type=osd #9个容器 # 确认Ceph集群状态，至此Ceph集群已搭建完成 \[root@ceph1 \~\]# ceph -s cluster: id: 2ca9f32a-f0a3-11ee-83c6-52540081f933 health: HEALTH_OK #此时Ceph集群状态已经是OK services: mon: 3 daemons, quorum ceph1,ceph2,ceph3 (age 20m) mgr: ceph1.qgermx(active, since 3h), standbys: ceph2.itkjyd, ceph3.asqmxz osd: 9 osds: 9 up (since 45s), 9 in (since 90s) data: pools: 1 pools, 1 pgs objects: 2 objects, 449 KiB usage: 167 MiB used, 160 GiB / 160 GiB avail pgs: 1 active+clean **## 故障排查** **查看服务状态：** **\[ceph: root@ceph1 /\]# ceph orch ps** 如果有error（比如node-exporter.ceph2），则把相应的服务删除： \[ceph: root@ceph1 /\]# ceph orch daemon rm node-expoter.ceph2 然后重新配置： \[ceph: root@ceph1 /\]# ceph orch daemon reconfig node-exporter.ceph2 # 或 \[ceph: root@ceph1 /\]# ceph orch daemon redeploy node-exporter.ceph2 如果是mgr这样的服务出故障，删除后，部署的命令是： \[ceph: root@ceph1 /\]# ceph orch daemon reconfig mgr ceph2 # 或 \[ceph: root@ceph1 /\]# ceph orch daemon redeploy mgr ceph2 ## 四、Ceph块存储 #### 块存储相关概念 * **块存储** * 就是可以提供像硬盘一样的设备 * 使用块存储的节点，第一次连接块设备，需要对块设备进行分区、格式化，然后挂载使用 ## 块设备与字符设备 \[root@ceph1 \~\]# ll /dev/vda **#b表示block，块设备** brw-rw---- 1 root disk 253, 0 Apr 2 11:38 /dev/vda \[root@ceph1 \~\]# ll /dev/tty **#c表示character，字符设备** crw-rw-rw- 1 root tty 5, 0 Apr 2 14:26 /dev/tty * **Ceph块存储** > * Ceph中的块设备叫做rbd，是rados block device的简写，表示ceph的块设备 > > * rados是Reliable, Autonomic Distributed Object Store的简写，意思是可靠、自主的分布式对象存储 > > * Ceph块设备采用精简配置，可调整大小，并将数据存储在多个OSD上 > > * RBD驱动已经很好的集成在了Linux内核中 > > * RBD提供了企业功能，如快照、COW克隆等，RBD还支持内存缓存，从而能够大大提高性能 Ceph提供块存储 * 管理存储池 * 存储池是Ceph存储数据的逻辑区分，关联于OSD设备 * 支持数据校验，有副本和纠删码两种策略，默认3副本 ## Ceph中的存储池 # 查看Ceph存储空间：共180G空间，默认3副本，最大存储60G数据 \[root@ceph1 \~\]# **ceph df** **#查看Ceph集群存储情况** --- RAW STORAGE --- CLASS SIZE AVAIL USED RAW USED %RAW USED hdd 180 GiB 180 GiB 187 MiB 187 MiB 0.10 TOTAL 180 GiB 180 GiB 187 MiB 187 MiB 0.10 --- POOLS --- POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL .mgr 1 1 449 KiB 2 449 KiB 0 57 GiB \[root@ceph1 \~\]#**ceph osd pool get .mgr size #获取存储池副本数** size: 3 **# 创建存储池** \[root@ceph1 \~\]# ceph osd pool ls #获取当前存储池 .mgr \[root@ceph1 \~\]# ceph osd pool create rbd 64 #创建名为rbd的存储池 pool 'rbd' created \[root@ceph1 \~\]# ceph osd pool application enable rbd rbd #设置存储池类型为rbd enabled application 'rbd' on pool 'rbd' \[root@ceph1 \~\]# ceph osd pool ls .mgr rbd \[root@ceph1 \~\]# ceph df --- RAW STORAGE --- CLASS SIZE AVAIL USED RAW USED %RAW USED hdd 180 GiB 180 GiB 190 MiB 190 MiB 0.10 TOTAL 180 GiB 180 GiB 190 MiB 190 MiB 0.10 --- POOLS --- POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL .mgr 1 1 897 KiB 2 2.6 MiB 0 57 GiB rbd 2 64 0 B 0 0 B 0 57 GiB * **管理镜像** * 在存储池中划分空间提供给客户端作为硬盘使用 * 划分出来的空间，术语叫做镜像 ## Ceph中的镜像管理 **# 镜像管理命令rbd** # 该命令默认操作名为rbd的存储池，如果自定义存储池名称，操作时需带上--pool poolname # 查看镜像 \[root@ceph1 \~\]# rbd ls #返回空结果 \[root@ceph1 \~\]# rbd ls --pool rbd #列出 Ceph 存储集群中 `rbd` 池内的所有块设备镜像 **# 创建镜像** \[root@ceph1 \~\]# rbd create img1 --size 10G \[root@ceph1 \~\]# rbd ls img1 \[root@ceph1 \~\]# rbd ls --pool rbd #如果操作的存储池名称不是rbd则需要使用--pool指定名称 img1 # 查看镜像详情 \[root@ceph1 \~\]# rbd info img1 ## 查看镜像详情 rbd image 'img1': size 10 GiB in 2560 objects order 22 (4 MiB objects) snapshot_count: 0 id: 39f34b1da603 block_name_prefix: rbd_data.39f34b1da603 format: 2 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten op_features: flags: create_timestamp: Tue Apr 2 15:15:32 2024 access_timestamp: Tue Apr 2 15:15:32 2024 modify_timestamp: Tue Apr 2 15:15:32 2024 **# 镜像扩容/缩容** \[root@ceph1 \~\]# rbd resize img1 --size 200G #扩容，并不会立即分配所有空间 \[root@ceph1 \~\]# rbd info img1 rbd image 'img1': size 200 GiB in 51200 objects ... \[root@ceph1 \~\]# rbd resize img1 --size 20G --allow-shrink #缩容，基本用不到 \[root@ceph1 \~\]# rbd info img1 rbd image 'img1': size 20 GiB in 5120 objects ... # 删除镜像 \[root@ceph1 \~\]# rbd remove img1 #删除指定镜像 \[root@ceph1 \~\]# rbd ls #返回空 * 客户端使用Ceph块设备 ## 客户端配置 # 装包 \[root@client \~\]# **yum -y install ceph-common** # 获取集群配置文件和用户认证文件 \[root@client \~\]# scp root@192.168.88.11:/etc/ceph/ceph.conf /etc/ceph/ \[root@client \~\]# scp root@192.168.88.11:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ \[root@client \~\]# ceph -s #客户端已经可以操作Ceph集群 cluster: id: 2ca9f32a-f0a3-11ee-83c6-52540081f933 health: HEALTH_OK ... # 客户端使用Ceph块设备 \[root@client \~\]# rbd create img1 --size 10G #创建块设备 \[root@client \~\]# rbd ls #查看块设备 img1 \[root@client \~\]# rbd info img1 #查看img1设备信息 rbd image 'img1': size 10 GiB in 2560 objects ... \[root@client \~\]# rbd status img1 #查看img1状态 Watchers: none \[root@client \~\]# rbd map img1 #映射Ceph镜像到本地 /dev/rbd0 \[root@client \~\]# lsblk #本地多出rbd类型硬盘 NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT rbd0 252:0 0 10G 0 disk vda 253:0 0 20G 0 disk └─vda1 253:1 0 20G 0 part / \[root@client \~\]# rbd showmapped #查看映射关系 id pool namespace image snap device 0 rbd img1 - /dev/rbd0 \[root@client \~\]# rbd status img1 #查看img1状态 Watchers: watcher=192.168.88.10:0/2491123928 client.14922 cookie=18446462598732840961 \[root@client \~\]# **mkdir /data #创建挂载测试目录** \[root@client \~\]# **mkfs.xfs /dev/rbd0 #格式化硬盘** \[root@client \~\]# **mount /dev/rbd0 /data/ #挂载硬盘** \[root@client \~\]# df -hT \| grep rbd /dev/rbd0 xfs 10G 105M 9.9G 2% /data \[root@client \~\]# **cp /etc/hosts /data/ #测试使用** \[root@client \~\]# ls /data/ hosts \[root@client \~\]# **umount /dev/rbd0 #卸载块设备** \[root@client \~\]# ls /data/ \[root@client \~\]# rbd showmapped #查看映射关系 id pool namespace image snap device 0 rbd img1 - /dev/rbd0 \[root@client \~\]# rbd unmap img1 #取消映射关系 \[root@client \~\]# rbd showmapped #确认取消映射关系 \[root@client \~\]# rbd remove img1 #删除镜像