某客户Oracle RAC无法启动故障快速解决

某日,9:50左右接到好友协助需求,某个客户Oracle RAC无法启动,并发过来一个报错截图,如下:

和客户维护人员对接后,远程登录服务端进行故障分析。

查看hosts信息,首先进行心跳测试,测试结果如下:

经过测试,节点心跳无法ping通,和运维人员沟通后,进行心跳网络排查。

经排查,心跳网络连接的交换机故障,客户进行了交换机更换,于10:22分完成交换,并重新启动交换机。

10:31分启动失败后再次分析报错,发现存储未挂载:

客户维护人员直接进行了存储设备重启(此处不建议如此粗暴操作,除非非常了解自己运维的环境及历史问题),重启后RAC的两个节点重新识别到了磁盘,识别到磁盘后分别停止两个节点crs,重新进行了启动,10:35分左右,整个集群启动正常,业务恢复连接。

总结一下:

1.对于比较简单环境的rac,出现问题可以首先考虑检查心跳网络,再检查存储,这样可以快速的定位问题。

2.在网络简单、配置简单的环境可以安装以往的运维经验进行重启、换设备之类的操作,其余环境,需要评估相关操作的风险性,慎重操作。

相关推荐
阿成学长_Cain3 小时前
Linux ipcs 命令超全详解:查看共享内存 / 消息队列 / 信号量,IPC 运维必备
linux·运维·服务器·网络·数据库
OceanBase数据库官方博客5 小时前
OceanBase AI 时代,数据库的变与不变(技术解析与实践)
数据库·人工智能·oceanbase
阿成学长_Cain7 小时前
Linux dirs命令详解|Bash目录堆栈管理快速切换目录实战教程
linux·运维·前端·数据库
ywl4708120877 小时前
Mysql 平衡二叉树、红黑树、B树、B+树区别以及应用场景(五)
数据库·b树·mysql
IvorySQL8 小时前
IvorySQL Agent 探索与实践
数据库·人工智能·postgresql·oracle·ivorysql
SelectDB9 小时前
美团数十 PB 规模 Apache Doris 实践:从统一 OLAP 到 AI-Native 数据基座
大数据·数据库·性能优化
Database_Cool_9 小时前
阿里云RDS主从延迟解决方案_只读实例半同步复制最佳实践
数据库·人工智能
KaMeidebaby10 小时前
卡梅德生物技术快报|小 RNA 适配体合成 + 多方法亲和力表征全流程标准化操作手册
前端·网络·数据库·人工智能·算法
卓怡学长10 小时前
w269基于spring boot + vue 候鸟监测数据管理系统
java·数据库·spring boot·spring·intellij-idea
ClouGence10 小时前
MySQL 到 StarRocks 数据迁移同步:同步方案与实践指南
数据库·mysql