某客户Oracle RAC无法启动故障快速解决

某日,9:50左右接到好友协助需求,某个客户Oracle RAC无法启动,并发过来一个报错截图,如下:

和客户维护人员对接后,远程登录服务端进行故障分析。

查看hosts信息,首先进行心跳测试,测试结果如下:

经过测试,节点心跳无法ping通,和运维人员沟通后,进行心跳网络排查。

经排查,心跳网络连接的交换机故障,客户进行了交换机更换,于10:22分完成交换,并重新启动交换机。

10:31分启动失败后再次分析报错,发现存储未挂载:

客户维护人员直接进行了存储设备重启(此处不建议如此粗暴操作,除非非常了解自己运维的环境及历史问题),重启后RAC的两个节点重新识别到了磁盘,识别到磁盘后分别停止两个节点crs,重新进行了启动,10:35分左右,整个集群启动正常,业务恢复连接。

总结一下:

1.对于比较简单环境的rac,出现问题可以首先考虑检查心跳网络,再检查存储,这样可以快速的定位问题。

2.在网络简单、配置简单的环境可以安装以往的运维经验进行重启、换设备之类的操作,其余环境,需要评估相关操作的风险性,慎重操作。

相关推荐
银发控、1 小时前
MySQL联合索引
数据库·mysql
予枫的编程笔记2 小时前
【MySQL修炼篇】从踩坑到精通:事务隔离级别的3大异常(脏读/幻读/不可重复读)解决方案
数据库·mysql·后端开发·数据库事务·事务隔离级别·rr级别·脏读幻读不可重复读
一起养小猫3 小时前
Flutter for OpenHarmony 实战:记账应用数据统计与可视化
开发语言·jvm·数据库·flutter·信息可视化·harmonyos
世界尽头与你3 小时前
(修复方案)CVE-2023-22047: Oracle PeopleSoft Enterprise PeopleTools 未授权访问漏洞
数据库·安全·oracle·渗透测试
韩立学长3 小时前
【开题答辩实录分享】以《智能大学宿舍管理系统的设计与实现》为例进行选题答辩实录分享
数据库·spring boot·后端
Henry Zhu1233 小时前
数据库(五):反规范化
数据库
Mr_Xuhhh4 小时前
MySQL函数详解:日期、字符串、数学及其他常用函数
java·数据库·sql
he___H5 小时前
Redis高级数据类型
数据库·redis·缓存
霖霖总总5 小时前
[小技巧60]深入解析 MySQL Online DDL:MySQL Online DDL、pt-osc 与 gh-ost 机制与最佳实践
数据库·mysql
爱学习的阿磊5 小时前
使用PyTorch构建你的第一个神经网络
jvm·数据库·python