阿里云11月12日官方故障报告来了

影响范围

  1. OSS、OTS、SLS、MNS 等产品的部分服务受到影响,大部分产品如 ECS、RDS、网络等运行不受影响。
  2. 云产品控制台、管控 API 等功能受到影响。

时间

2023年11月12日17:39~19.20,故障时间为 1 小时 41 分。

问题概况

2023 年 11月 12 日 17:39 起,阿里云云产品控制台访问及管控 API调用出现异常、部分云产品服务访问异常,工程师排查故障原因与访问密钥服务 (AK)异常有关。工程师修订白名单版本后,采取分批重启 AK 服务的措施,于 18:35 开始陆续恢复,19:20 绝大部分 Region 产品控制台和管控 API 恢复。

处理过程

  • 17:39:阿里云云产品控制台访问及管控 API 调用出现异常。
  • 17:50:工程师确认故障是 AK 服务异常导致,影响云产品控制台、管控 API 调用异常,以及依赖 AK 服务的云产品服务运行异常。
  • 18:01:工程师定位到根因。
  • 18:07:开始执行恢复措施,包括修订白名单版本、重启 AK 服务。
  • 18:35:杭州等 Region 开始恢复正常。
  • 19:20:绝大部分 Region 的云产品控制台和管控 API 调用恢复正常。

原因

访问密钥服务 (AK)在读取白名单数据时出现读取异常,因处理读取异常的代码存在逻辑缺陷,生成了一份不完整白名单,导致不在此白名单中的有效请求失败,影响云产品控制台及管控 API 服务出现异常,同时部分依赖 AK 服务的产品因不完整的白名单出现部分服务运行异常。

改进措施

  1. 增加 AK 服务白名单生成结果的校验及告警拦截能力。
  2. 增加 AK 服务白名单更新的灰度验证逻辑,提前发现异常。
  3. 增加 AK 服务白名单的快速恢复能力。
  4. 加强云产品侧的联动恢复能力。

下一步阿里云将在此次故障复盘和整改措施基础上,继续深入做好风险隐患排查工作,举一反三,梳理行程问题清单逐项整改。

相关推荐
耶啵奶膘25 分钟前
uniapp+firstUI——上传视频组件fui-upload-video
前端·javascript·uni-app
视频砖家1 小时前
移动端Html5播放器按钮变小的问题解决方法
前端·javascript·viewport功能
艾伦_耶格宇1 小时前
【ACP】阿里云云计算高级运维工程师--ACP
运维·阿里云·云计算
lyj1689971 小时前
vue-i18n+vscode+vue 多语言使用
前端·vue.js·vscode
程序员岳焱2 小时前
Java 与 MySQL 性能优化:Java 实现百万数据分批次插入的最佳实践
后端·mysql·性能优化
一位摩羯座DBA2 小时前
Redhat&Centos挂载镜像
linux·运维·centos
麦兜*2 小时前
Spring Boot启动优化7板斧(延迟初始化、组件扫描精准打击、JVM参数调优):砍掉70%启动时间的魔鬼实践
java·jvm·spring boot·后端·spring·spring cloud·系统架构
大只鹅3 小时前
解决 Spring Boot 对 Elasticsearch 字段没有小驼峰映射的问题
spring boot·后端·elasticsearch
小白变怪兽3 小时前
一、react18+项目初始化(vite)
前端·react.js
ai小鬼头3 小时前
AIStarter如何快速部署Stable Diffusion?**新手也能轻松上手的AI绘图
前端·后端·github