记一次服务器异常宕机导致的系统异常

1.事件背景

某部门应急演练,服务器异常关机未提前通知各业务系统。

2.事件经过

服务器断电后,服务器宕机重启,各系统都受到影响,无法访问,现场也不知道发生了什么情况,以为是业务系统本身出故障了,实际上业务系统的信息管理员也不知道此事,虽然服务器重启比较快,但是各业务系统网站有些没有自动启动,需要手动重启。涉及很多台服务器,特别是部署的java应用,都需要重新启动。

1.应用网站应用程序池重启。

2.网站重启

异常断电后,服务器重启后磁盘IO异常,时间持续影响几个小时。以本人个人电脑为例截图,类似下图,磁盘的写入平均延迟异常。正常的IO延迟都是毫秒级,基本都是个位数,当时延迟达到了几千毫秒,3000~7000多毫秒,这在高并发写入的场景下是无法接受的。后再次彻底重启应用服务器,磁盘IO恢复正常,各交互系统上传数据正常。

3.事件总结

服务器不同于个人电脑,承载的业务很庞杂,异常重启会导致各种各样的问题,还是按正常步骤重启服务器。异常断电可能会导致磁盘IO异常。

相关推荐
电商API_180079052471 小时前
京东商品详情API技术文章
大数据·运维·人工智能·网络爬虫
三言老师2 小时前
秘诀-如何远程SSN访问家里的八台电脑(frp 实操方案)
linux·运维·ssh
躺不平的理查德2 小时前
ARCH与交叉编译器的关系
服务器·arm
BTU_YC3 小时前
Docker Compose 部署 DozerDB 完整教程
运维·docker·容器
谢慧琼4 小时前
2026零基础做企业网站,低成本搭建官方网站
服务器·前端·javascript
RisunJan6 小时前
Linux命令-scriptreplay(终端会话回放)
linux·运维·chrome
x²+(y-√³x²)²=17 小时前
Linux打包文件到Windows,文件/文件类型丢失
linux·运维·windows
世人万千丶7 小时前
去重插入与超限淘汰:ArkTS 实现鸿蒙搜索历史的 LIMIT 艺术
运维·服务器·学习·华为·harmonyos·鸿蒙
未来之窗软件服务7 小时前
企业自动化运营-电子合同预览-东方仙盟
运维·自动化·仙盟创梦ide·东方仙盟
程序员与背包客_CoderZ8 小时前
Linux D-Bus通信协议详解:从入门到C/C++编码实战
linux·服务器·c语言·c++·嵌入式硬件·嵌入式软件·dbus