记一次服务器异常宕机导致的系统异常

1.事件背景

某部门应急演练,服务器异常关机未提前通知各业务系统。

2.事件经过

服务器断电后,服务器宕机重启,各系统都受到影响,无法访问,现场也不知道发生了什么情况,以为是业务系统本身出故障了,实际上业务系统的信息管理员也不知道此事,虽然服务器重启比较快,但是各业务系统网站有些没有自动启动,需要手动重启。涉及很多台服务器,特别是部署的java应用,都需要重新启动。

1.应用网站应用程序池重启。

2.网站重启

异常断电后,服务器重启后磁盘IO异常,时间持续影响几个小时。以本人个人电脑为例截图,类似下图,磁盘的写入平均延迟异常。正常的IO延迟都是毫秒级,基本都是个位数,当时延迟达到了几千毫秒,3000~7000多毫秒,这在高并发写入的场景下是无法接受的。后再次彻底重启应用服务器,磁盘IO恢复正常,各交互系统上传数据正常。

3.事件总结

服务器不同于个人电脑,承载的业务很庞杂,异常重启会导致各种各样的问题,还是按正常步骤重启服务器。异常断电可能会导致磁盘IO异常。

相关推荐
zhikouai33 分钟前
把外部助手接进聊天软件的架构分层与参数配置
服务器·网络·php
huainingning36 分钟前
锐捷10.X路由器版本升级不生效问题排查
运维·网络·智能路由器
荣合技术服务1 小时前
HPC 超算集群故障维修实录:找荣合科算维护后,模拟仿真计算又能跑了
运维·服务器·超算服务器·荣合科算
AR-26710-4 小时前
Linux Day31——实操启停服务改端口重启
linux·运维
百度Geek说4 小时前
QCon上海2026:百度 SRE Agent 规模化落地实践解读
运维·自动化运维
叼烟扛炮4 小时前
Linux 学习笔记(五十八):IO 多路复用封神——epoll 底层原理揭秘
linux·运维·服务器·网络·笔记·学习·php
星恒随风5 小时前
Linux网络编程:彻底理解IO多路复用select!从fd_set位图、读写就绪到手写TCP多客户端字典服务器
linux·服务器·网络
分布式存储与RustFS7 小时前
给 RustFS 桶加一层内存缓存:用 Alluxio 让热数据少跑一遍网络
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Oiiouui8 小时前
linux服务器部署Logto后端与对应前端的实现
linux·服务器·前端·后端