背景
从外地出差回到公司总部,发现测试环境的GaussDB坏掉了,具体的故障现象就是etcd节点down状态。
具体故障如下图所示

通过查询华为GaussDB的手册得知,可以用
gs_replace -t config -h nodename修复,因是公司测试环境,就大胆尝试,然后居然报错了。

正常应该是下面这样。

由于自己对GaussDB经验较少,然后就不知道怎么办了,求助了同事,同事也说不知道怎么回事,然后求助了华为盘古模型,问的较少,问了比较有经验的同事,找到了解决办法。
上述报错是因为华为的agent 执行失败了,导致云数据库GaussDB管理平台(tpops)不能连接到数据库节点。修复办法就是根据提示修复agent 就可以了。

就是下图中的 把正常节点启动agent的定时任务复制的不正常的节点,就可以完成修复任务。
修复完成之后,就可以看到数据库集群是正常状态了,如下图所示。

数据检查也是正常的。

但是云管理平台还是不正常的状态。

解决上述问题的方法就是,找到之前的任务,释放锁,然后重试任务就好了。

释放锁的操作。

此处之做问题记录,不做具体原因分析,以后遇到同类问题能快速处理即可。