某客户Oracle RAC无法启动故障快速解决

某日,9:50左右接到好友协助需求,某个客户Oracle RAC无法启动,并发过来一个报错截图,如下:

和客户维护人员对接后,远程登录服务端进行故障分析。

查看hosts信息,首先进行心跳测试,测试结果如下:

经过测试,节点心跳无法ping通,和运维人员沟通后,进行心跳网络排查。

经排查,心跳网络连接的交换机故障,客户进行了交换机更换,于10:22分完成交换,并重新启动交换机。

10:31分启动失败后再次分析报错,发现存储未挂载:

客户维护人员直接进行了存储设备重启(此处不建议如此粗暴操作,除非非常了解自己运维的环境及历史问题),重启后RAC的两个节点重新识别到了磁盘,识别到磁盘后分别停止两个节点crs,重新进行了启动,10:35分左右,整个集群启动正常,业务恢复连接。

总结一下:

1.对于比较简单环境的rac,出现问题可以首先考虑检查心跳网络,再检查存储,这样可以快速的定位问题。

2.在网络简单、配置简单的环境可以安装以往的运维经验进行重启、换设备之类的操作,其余环境,需要评估相关操作的风险性,慎重操作。

相关推荐
猫猫不是喵喵.2 小时前
从0到1创建一个微服务项目
java·数据库·微服务·1024程序员节
曲径海盗2 小时前
Try-Except怎么用,3个追问解答在自动化下的应用
java·jvm·oracle
lsc_blog3 小时前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
墨痕诉清风3 小时前
SSRF漏洞实战记录+OSS桶命令执行+MCP漏洞
linux·服务器·数据库
Ashe8136 小时前
MySQL 慢日志先别急着加索引:三个指标能拦掉大半误判
数据库
ClouGence6 小时前
最基础的异构数据库 DDL 同步,我们踩过哪些坑?
数据库·mysql·postgresql
羑悻的小杀马特7 小时前
Redis持久化三剑客:RDB二进制快照、AOF文本日志、混合模式如何守护你的数据安全?
数据库·redis·缓存·aof·持久化存储·rdb
小呆爱发呆8 小时前
第三章 MySQL 库表操作
数据库·mysql·adb
时间的拾荒人8 小时前
Redis 进阶实战:渐进式遍历、持久化机制与事务详解
数据库·redis·缓存