记一次服务器异常宕机导致的系统异常

1.事件背景

某部门应急演练,服务器异常关机未提前通知各业务系统。

2.事件经过

服务器断电后,服务器宕机重启,各系统都受到影响,无法访问,现场也不知道发生了什么情况,以为是业务系统本身出故障了,实际上业务系统的信息管理员也不知道此事,虽然服务器重启比较快,但是各业务系统网站有些没有自动启动,需要手动重启。涉及很多台服务器,特别是部署的java应用,都需要重新启动。

1.应用网站应用程序池重启。

2.网站重启

异常断电后,服务器重启后磁盘IO异常,时间持续影响几个小时。以本人个人电脑为例截图,类似下图,磁盘的写入平均延迟异常。正常的IO延迟都是毫秒级,基本都是个位数,当时延迟达到了几千毫秒,3000~7000多毫秒,这在高并发写入的场景下是无法接受的。后再次彻底重启应用服务器,磁盘IO恢复正常,各交互系统上传数据正常。

3.事件总结

服务器不同于个人电脑,承载的业务很庞杂,异常重启会导致各种各样的问题,还是按正常步骤重启服务器。异常断电可能会导致磁盘IO异常。

相关推荐
189228048611 小时前
NY352固态MT29F32T08GWLBHD6-24QJ:B
大数据·服务器·人工智能·科技·缓存
AI视觉网奇1 小时前
linux 检索库 判断库是否支持
java·linux·服务器
dapeng-大鹏1 小时前
KVM+LVM 零停机在线扩容 Ubuntu 根分区:从磁盘添加到逻辑卷扩展完整
linux·运维·ubuntu·磁盘空间扩展
乐维_lwops1 小时前
案例解读|运维监控助力某大型卷烟厂构建高效运维监控体系
运维·运维案例
JiaWen技术圈1 小时前
网站用户注册行为验证码方案
运维·安全
仙柒4152 小时前
Docker存储原理
运维·docker·容器
DolphinDB2 小时前
漫长人工,耗费存储?用 BackupRestore 模块一站式解决跨环境数据同步难题
运维·后端·架构
一楼的猫2 小时前
从工具链视角对比:番茄作家助手 vs 第三方写作辅助方案
java·服务器·开发语言·前端·学习·chatgpt·ai写作
武子康2 小时前
调查研究-138 全球机器人产业深度调研报告【01 篇】:市场规模、竞争格局与商业化成熟 2026
服务器·数据库·ai·chatgpt·机器人·具身智能
xhbh6663 小时前
代理ARP (Proxy ARP) 是如何实现跨网段通信的?在Linux下如何配置?
服务器·网络·智能路由器·端口映射·映射