cdp集群Hbase组件HRegionServer服务停止原因以及排查

前言:重启集群后某一节点HRegionServer服务停止,重启前所有服务均正常

去查看日志:

日志报错

ERROR HRegionServer

Master rejected startup because clock is out of sync

org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server cloudcdp05.hadoop.com,16020,1713404049250 has been rejected; Reported time is too far out of sync with master. Time difference of 31113ms > max allowed of 30000ms

09:34:20.321 ERROR HRegionServerCommandLine

Region server exiting

java.lang.RuntimeException: HRegionServer Aborted

HBase 主节点拒绝了某个区域服务器的启动,因为区域服务器的系统时钟与主节点的系统时钟相差太大。

去查看对应节点后台,发现ntp服务正常启动,但是没有与主节点进行时间同步

怀疑是主节点ntp服务没启起来,去主节点查看ntp是active状态,

可能是没识别问题节点,把主节点和问题节点的ntp服务重启一下就好了

powershell 复制代码
#重启ntp服务
systemcl restart ntpd

后续查看同步状态

powershell 复制代码
ntp -q

可以看到时间同步过去了,问题解决。

相关推荐
Nie_Xun42 分钟前
ubuntu网络共享
linux·运维·ubuntu
天上掉下来个程小白1 小时前
Docker-14.项目部署-DockerCompose
运维·docker·微服务·容器
花小璇学linux1 小时前
imx6ull-驱动开发篇22——Linux 时间管理和内核定时器
linux·运维·驱动开发
Yusei_05232 小时前
迅速掌握Git通用指令
大数据·git·elasticsearch
Liang_GaRy4 小时前
心路历程-三个了解敲开linux的大门
linux·运维·服务器
星霜笔记5 小时前
Docker 部署 MariaDB+phpMyAdmin+Nextcloud 完整教程
运维·数据库·docker·容器·mariadb
一只栖枝8 小时前
华为 HCIE 大数据认证中 Linux 命令行的运用及价值
大数据·linux·运维·华为·华为认证·hcie·it
wuicer10 小时前
ubuntu 20.04 安装anaconda以及安装spyder
linux·运维·ubuntu
小晶晶京京12 小时前
day34-LNMP详解
linux·运维·服务器
喂完待续12 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构