某客户Oracle RAC无法启动故障快速解决

某日,9:50左右接到好友协助需求,某个客户Oracle RAC无法启动,并发过来一个报错截图,如下:

和客户维护人员对接后,远程登录服务端进行故障分析。

查看hosts信息,首先进行心跳测试,测试结果如下:

经过测试,节点心跳无法ping通,和运维人员沟通后,进行心跳网络排查。

经排查,心跳网络连接的交换机故障,客户进行了交换机更换,于10:22分完成交换,并重新启动交换机。

10:31分启动失败后再次分析报错,发现存储未挂载:

客户维护人员直接进行了存储设备重启(此处不建议如此粗暴操作,除非非常了解自己运维的环境及历史问题),重启后RAC的两个节点重新识别到了磁盘,识别到磁盘后分别停止两个节点crs,重新进行了启动,10:35分左右,整个集群启动正常,业务恢复连接。

总结一下:

1.对于比较简单环境的rac,出现问题可以首先考虑检查心跳网络,再检查存储,这样可以快速的定位问题。

2.在网络简单、配置简单的环境可以安装以往的运维经验进行重启、换设备之类的操作,其余环境,需要评估相关操作的风险性,慎重操作。

相关推荐
落叶的悲哀37 分钟前
mysql tidb like查询有换行符内容问题解决
数据库·mysql·tidb
wangchen_01 小时前
MySQL索引
数据库·mysql
哈__1 小时前
数据库迁移实操与金仓数据库技术优势:从语法兼容到自动化落地
数据库
蟹至之1 小时前
增删查改(其一) —— insert插入 与 select条件查询
数据库·mysql·增删查改
Yeats_Liao2 小时前
时序数据库系列(七):性能监控实战指标收集
数据库·后端·时序数据库
无心水2 小时前
【中间件:Redis】1、Redis面试核心:线程模型深度解析(6.0前后变化+工作流程)
数据库·redis·面试·redis面试·redis原理·redis线程模型·后端技术
milanyangbo2 小时前
从同步耦合到异步解耦:消息中间件如何重塑系统间的通信范式?
java·数据库·后端·缓存·中间件·架构
绛洞花主敏明2 小时前
Gorm(十四)的多条件叠加
数据库
枫叶丹43 小时前
【Qt开发】布局管理器(五)-> QSpacerItem 控件
开发语言·数据库·c++·qt
伯恩bourne3 小时前
【SqlServer】日志文件无法收缩的解决方法
数据库·oracle·sqlserver