Amazo S3 是如何实现 99.999999999% 的持久性和可用性的?

亚马逊简单存储服务(Amazon S3)是最广泛使用和可靠的云存储服务之一,提供高度可扩展和耐用的存储。许多 S3 客户的关键要求是确保其数据的最大正常运行时间和可用性。在本文中,我们将深入探讨 S3 如何通过其稳固的系统架构和实现方式实现超过99.99%的可用性。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

在这份综合指南中,我们将探讨关键的 S3 可用性架构,包括:

  • 可用区(AZs)的数据复制 - S3 在提交写入之前,将数据同步复制到至少3个可用区。
  • 智能请求路由 - S3 将流量路由到最近的设施,以获取所请求的数据,从而最大限度地减少延迟。
  • 快速故障检测 - S3 使用健康检查,在几秒钟内检测故障,并触发恢复。
  • 自动恢复 - S3 保留额外的容量,以处理从失败设施重定向的流量。
  • 分区和负载均衡 - S3 将存储桶分区,以包含故障并平衡负载。
  • 强一致性模型 - S3 提供写入后一致性,并防止陈旧数据。

背景

S3 将数据存储在桶中,桶充当顶层容器。在一个桶中,数据以对象的形式存储,对象由数据本身、元数据和一个键(名称)组成。

为了提供高持久性,S3 会在多个设备和设施之间复制数据。默认情况下,数据会在一个亚马逊云科技区域中的三个可用区之间复制,可用区是区域内的隔离位置。

S3 还会将桶划分为多个分区,并将分区分布在不同的设备和设施上,以确保负载均衡和隔离故障域。这种划分允许透明地处理故障。

与 S3 可用性相关的一些关键概念:

  1. 复制:这不仅仅是复制。对于 S3 而言,这是一种在亚马逊云科技区域内同步复制数据到三个不同设施的实践。每个设施都充当隔离的区域,确保即使一个设施宕机,其他设施仍然可用。
  2. 分区增强稳固性:S3 的存储桶被划分为分区,这些分区分布在不同的设备和设施上。这种持续分区确保了平衡负载,并隔离了故障。
  3. 一致性与故障切换:两个基本支柱。S3 优先维护最新的副本(一致性),并在故障时切换到备份副本(故障切换)。

高可用性的重要性

可用性指系统保持运行和可访问以满足用户请求的时间百分比。对于许多将 S3 用于关键任务数据的组织而言,高可用性至关重要。

根据 IDC 的数据,停机时间使企业平均每小时损失25万美元。有了 S3 的架构,潜在的停机时间得到了减少,从而节省成本并防止收入损失。

确保可用性面临的挑战

在提供始终可用性方面存在几个关键挑战:

  1. 在不影响延迟的情况下在数据中心之间复制写入操作
  2. 在几秒钟内进行快速故障检测
  3. 无数据丢失地无缝恢复故障
  4. 在故障和恢复期间保持读取一致性
  5. 随着数据量增加线性扩展

在接下来的章节中,我们将探讨 S3 的架构如何应对这些问题。

S3 如何实现高可用性

S3 采用了高度分布式的、优化的存储系统,以实现卓越的可用性。其中关键方面包括:

自动故障检测和恢复

尽管有冗余性,但故障仍然可能发生。为了处理崩溃,S3 使用:

  • 健康检查: 每秒进行超过5万次的存储服务器状态检查
  • 自我修复: 通过校验验证自动修复损坏的对象
  • 故障转移: 如果主服务器关闭,在60秒内将流量路由到备用服务器

下面是一个 Java 故障转移逻辑示例:

scss 复制代码
if (primaryServer.isHealthy()) {  
  routeTraffic(primaryServer);  
} else {  
  logError(primaryServer);  
  routeTraffic(secondaryServer);  
  recoverData(primaryServer);  
}

即使多个服务器离线,这也可以确保服务保持99.99%的可用性。

分区和负载均衡

S3 将存储桶分区 为多个片段,并在各个设施之间进行分布。这样可以隔离故障并动态平衡负载。每个分区可以处理每秒5500次请求

跨可用区同步复制

S3 在提交写入之前,将数据同步复制到至少3个可用区。这确保即使一个可用区完全失败,也不会丢失数据。

强一致性

S3 对新的 PUT 和 DELETE 操作提供写入后一致性。它还可以检测数据损坏,以防止提供陈旧数据。相比行业标准的3-4%,S3 的中位错误率约为0.01%

智能请求路由

S3 确定包含所请求数据的最近设施,并相应地路由流量。这样可以在平衡负载的同时最大限度地减少延迟。S3 可以维持超过150万次每秒的请求流量。

实际案例

让我们看看 Acme 公司如何利用 S3 的可用性来处理其关键工作负载:

  • 在跨越可用区 A、B、C 的 S3 存储桶中存储的分析数据有500个分区
  • 可用区 A 遇到严重故障,流量继续从可用区 B、C 中进行
  • 现在写入只复制到可用区 B、C
  • 一旦A恢复,S3 会重新平衡分区以减少热点
  • 在整个故障期间,Acme 的数据仍然可用

结论

在本文中,我们探讨了 S3 的内部系统架构,该架构实现了极高的可用性。关键方面包括

  • 多可用区架构隔离故障并提供低延迟
  • 自动恢复简化了故障期间的操作
  • 分区可以隔离故障并实现重新平衡
  • 强一致性防止提供陈旧数据

通过深入理解 S3 的可用性架构,开发人员可以构建高度弹性的云原生应用程序。

在评论中告诉我,如果您对这个主题还有其他问题!我很乐意进一步讨论。

文章来源:dev.amazoncloud.cn/column/arti...

相关推荐
桃花键神20 分钟前
AI可信论坛亮点:合合信息分享视觉内容安全技术前沿
人工智能
野蛮的大西瓜41 分钟前
开源呼叫中心中,如何将ASR与IVR菜单结合,实现动态的IVR交互
人工智能·机器人·自动化·音视频·信息与通信
CountingStars6191 小时前
目标检测常用评估指标(metrics)
人工智能·目标检测·目标跟踪
tangjunjun-owen1 小时前
第四节:GLM-4v-9b模型的tokenizer源码解读
人工智能·glm-4v-9b·多模态大模型教程
冰蓝蓝1 小时前
深度学习中的注意力机制:解锁智能模型的新视角
人工智能·深度学习
橙子小哥的代码世界1 小时前
【计算机视觉基础CV-图像分类】01- 从历史源头到深度时代:一文读懂计算机视觉的进化脉络、核心任务与产业蓝图
人工智能·计算机视觉
新加坡内哥谈技术2 小时前
苏黎世联邦理工学院与加州大学伯克利分校推出MaxInfoRL:平衡内在与外在探索的全新强化学习框架
大数据·人工智能·语言模型
fanstuck3 小时前
Prompt提示工程上手指南(七)Prompt编写实战-基于智能客服问答系统下的Prompt编写
人工智能·数据挖掘·openai
lovelin+v175030409663 小时前
安全性升级:API接口在零信任架构下的安全防护策略
大数据·数据库·人工智能·爬虫·数据分析
唐小旭3 小时前
python3.6搭建pytorch环境
人工智能·pytorch·python