cdp集群Hbase组件HRegionServer服务停止原因以及排查

小戈爱学习2024-04-26 14:11

前言：重启集群后某一节点HRegionServer服务停止，重启前所有服务均正常

去查看日志：

日志报错

ERROR HRegionServer

Master rejected startup because clock is out of sync

org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server cloudcdp05.hadoop.com,16020,1713404049250 has been rejected; Reported time is too far out of sync with master. Time difference of 31113ms > max allowed of 30000ms

09:34:20.321 ERROR HRegionServerCommandLine

Region server exiting

java.lang.RuntimeException: HRegionServer Aborted

HBase 主节点拒绝了某个区域服务器的启动，因为区域服务器的系统时钟与主节点的系统时钟相差太大。

去查看对应节点后台，发现ntp服务正常启动，但是没有与主节点进行时间同步

怀疑是主节点ntp服务没启起来，去主节点查看ntp是active状态，

可能是没识别问题节点，把主节点和问题节点的ntp服务重启一下就好了

powershell 复制代码

#重启ntp服务
systemcl restart ntpd

后续查看同步状态

powershell 复制代码

ntp -q

可以看到时间同步过去了，问题解决。