某客户Oracle RAC无法启动故障快速解决

某日,9:50左右接到好友协助需求,某个客户Oracle RAC无法启动,并发过来一个报错截图,如下:

和客户维护人员对接后,远程登录服务端进行故障分析。

查看hosts信息,首先进行心跳测试,测试结果如下:

经过测试,节点心跳无法ping通,和运维人员沟通后,进行心跳网络排查。

经排查,心跳网络连接的交换机故障,客户进行了交换机更换,于10:22分完成交换,并重新启动交换机。

10:31分启动失败后再次分析报错,发现存储未挂载:

客户维护人员直接进行了存储设备重启(此处不建议如此粗暴操作,除非非常了解自己运维的环境及历史问题),重启后RAC的两个节点重新识别到了磁盘,识别到磁盘后分别停止两个节点crs,重新进行了启动,10:35分左右,整个集群启动正常,业务恢复连接。

总结一下:

1.对于比较简单环境的rac,出现问题可以首先考虑检查心跳网络,再检查存储,这样可以快速的定位问题。

2.在网络简单、配置简单的环境可以安装以往的运维经验进行重启、换设备之类的操作,其余环境,需要评估相关操作的风险性,慎重操作。

相关推荐
钱栈up7 分钟前
前端改了三页、后端也动了,用户说「完全没变化」——我在 116 库上找到的三个真凶
css·数据库
这个DBA有点耶19 分钟前
索引建了查询却更慢——优化器选错索引与Index Merge的隐藏代价
数据库·架构·代码规范
云贝贝贝24 分钟前
删了却没变小:PostgreSQL 死元组与表膨胀排查
数据库·postgresql
依晨照旧27 分钟前
Langfuse 打爆两台机器:一条分位数 SQL,在 400G 表上扫了 8 分钟
数据库
笃行3502 小时前
列存储这条线,我顺着 KingbaseES 的文档摸了一遍
数据库
Navicat中国2 小时前
Navicat 18 支持 Azure OpenAI 接入,合规 AI 赋能 SQL 开发
数据库·人工智能·microsoft·ai·azure·navicat·数据
1024奇点2 小时前
【仓颉语言入门 · 第二篇 第 10 课】
开发语言·数据库·ide·mysql·开源
数据狐(Datafox)2 小时前
一文读懂京东商品详情API:返回字段解读与 JSON 样例
java·开发语言·数据库·windows·json
SelectDB2 小时前
从实时入库到实时可用:Apache Doris 5.0 增量计算场景与实践
大数据·数据库·开源
IvorySQL2 小时前
PostgreSQL 18 性能与执行计划新特性实测
数据库·postgresql