Ceph集群维护相关操作

1、通过套接字进行单机管理

node节点:

powershell 复制代码
[root@ceph-node1 ~]# ll /var/run/ceph/
total 0
drwxrwx--- 2 ceph ceph 140 Aug 19 08:46 ./
drwxr-xr-x 25 root root 840 Aug 19 11:26 ../
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.0.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.1.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.2.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.3.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.4.asok=

mon节点:

powershell 复制代码
root@ceph-mon1:~# ll /var/run/ceph/
total 0
drwxrwx--- 2 ceph ceph 60 Aug 7 11:41 ./
drwxr-xr-x 25 root root 880 Aug 7 13:10 ../
srwxr-xr-x 1 ceph ceph 0 Aug 7 11:41 ceph-mon.ceph-mon1.asok=
#可在 node 节点或者 mon 节点通过 ceph 命令进行单机管理本机的 mon 或者 osd 服务:
#先将 admin 认证文件同步到 mon 或者 node 节点:
cephadmin@ceph-deploy:/home/ceph/ceph-cluster$scp ceph.client.admin.keyring
root@172.31.6.101:/etc/ceph
[root@ceph-node1 ~]# ceph --admin-socket /var/run/ceph/ceph-osd.0.asok --help
root@ceph-node1:~# ceph --admin-socket /var/run/ceph/ceph-osd.0.asok pg stat
powershell 复制代码
#帮助信息:
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok help
#mon 状态:
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok mon_status
#查看配置信息:
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok config show

2、Ceph集群的停止和启动

重启之前,要提前设置 ceph 集群不要将 OSD 标记为 out,避免 node 节点关闭服务后被踢出

ceph 集群外:

powershell 复制代码
[cephadmin@ceph-deploy ceph-cluster]$ ceph osd set noout #关闭服务前设置 noout
noout is set
[cephadmin@ceph-deploy ceph-cluster]$ ceph osd unset noout #启动服务后取消 noout
noout is unset
2.1 关闭顺序
powershell 复制代码
#关闭服务前设置 noout
关闭存储客户端停止读写数据
如果使用了 RGW,关闭 RGW     systemctl stop xxxx
关闭 cephfs 元数据服务       systemctl stop ceph-mdsxxxx
关闭 ceph OSD			   systemctl stop ceph-osdxxxx
关闭 ceph manager		   systemctl stop ceph-mgrxxxx
关闭 ceph monitor		   systemctl stop ceph-monxxxx
2.2 启动顺序
powershell 复制代码
启动 ceph monitor
启动 ceph manager
启动 ceph OSD
启动 cephfs 元数据服务
启动 RGW
启动存储客户端
#启动服务后取消 noout-->ceph osd unset noout

3、添加服务器

powershell 复制代码
1.系统优化、加仓库源
2.ceph-deploy install --release pacific ceph-nodeX
3.列出目的磁盘、擦除磁盘
ceph-deploy disk zap ceph-nodex /dev/sdx
4.添加 osd:
sudo ceph-deploy osd create ceph-nodex --data /dev/sdx

4、删除osd或服务器

powershell 复制代码
1 把 osd 踢出集群
ceph osd out 1
2.等一段时间数据副本同步
3.停止 osd.x 进程
4.删除 osd
ceph osd rm 1
删除服务器

停止服务器之前要把服务器的 OSD 先停止并从 ceph 集群删除

powershell 复制代码
1 把 osd 踢出集群
ceph osd out 1
2.等一段时间
3.停止 osd.x 进程
4.删除 osd
ceph osd rm 1
5.当前主机的其它磁盘重复以上操作
6.OSD 全部操作完成后下线主机
7.ceph osd crush rm ceph-node1 #从 crush 删除 ceph-node1

5、Ceph配置文件

Ceph 的主配置文件是/etc/ceph/ceph.conf,ceph 服务在启动时会检查 cep.conf,分号;和#在

配置文件中都是注释,ceph.conf 主要由以下配置段组成:

powershell 复制代码
[global] #全局配置
[osd] #osd 专用配置,可以使用 osd.N,来表示某一个 OSD 专用配置,N 为 osd 的编号,如0、2、1 等。
[mon] #mon 专用配置,也可以使用 mon.A 来为某一个 monitor 节点做专用配置,其中 A 为该节点的名称,ceph-monitor-2、ceph-monitor-1 等,使用命令 ceph mon dump 可以获取节点的名称
[client] #客户端专用配置。

ceph文件的加载顺序

powershell 复制代码
$CEPH_CONF 环境变量
-c 指定的位置
/etc/ceph/ceph.conf 
~/.ceph/ceph.conf
./ceph.conf
相关推荐
戒不掉的伤怀18 分钟前
【Navicat 连接MySQL时出现错误1251:客户端不支持服务器请求的身份验证协议;请考虑升级MySQL客户端】
服务器·数据库·mysql
超喜欢下雨天18 分钟前
服务器安装 ros2时遇到底层库依赖冲突的问题
linux·运维·服务器·ros2
搬码临时工24 分钟前
小企业如何搭建本地私有云服务器,并设置内部网络地址提供互联网访问
运维·服务器
old-six-programmer44 分钟前
NAT 类型及 P2P 穿透
服务器·网络协议·webrtc·p2p·nat
tan77º1 小时前
【Linux网络编程】网络基础
linux·服务器·网络
风口上的吱吱鼠1 小时前
Armbian 25.5.1 Noble Gnome 开启远程桌面功能
服务器·ubuntu·armbian
笑衬人心。2 小时前
Ubuntu 22.04 + MySQL 8 无密码登录问题与 root 密码重置指南
linux·mysql·ubuntu
再见晴天*_*2 小时前
logback 日志不打印
java·服务器·logback
myskybeyond3 小时前
时序数据库TDEngine安装和使用
服务器·时序数据库·tdengine
chanalbert3 小时前
CentOS系统新手指导手册
linux·运维·centos