数据持久性是如何炼成的——对象存储容灾技术解析

存储系统作为支撑人工智能发展的关键基础设施,不仅需要提供弹性、海量数据存储能力,还要保证数据的安全性和可靠性,以确保业务的核心数据资产得以持久存储,大模型时代对海量数据的安全可靠存储提出了更高的要求。

对象存储具有优秀的成本效益,丰富和卓越的数据安全保障措施,是构建云上企业级存储设施的首要选择。面对更高的数据安全要求,对象存储也提供了版本控制、跨地域复制、多AZ等多种数据容灾手段,帮助企业更好地保护和管理其数据资产。尤其是多AZ技术,能够将客户数据分散存储在城市中多个不同的数据中心,当某个数据中心因自然灾害、断电等极端情况导致整体故障时,仍能为客户提供稳定可靠的存储服务。这种架构提供了更高的冗余性和可用性,进一步确保业务能够持续访问所需的数据。在公有云上,可以根据业务容灾等级的需要,通过一种或者多种能力的组合,实现企业容灾要求。

版本控制

版本控制是一项关键的数据管理功能,它允许企业在腾讯云对象存储 COS 服务中保存和管理同一个文件的多个版本 。这种机制为企业用户提供了强大的数据保护和恢复能力,确保了数据的安全性和可靠性。

当企业用户在存储桶中启用版本控制后,每次对同一个文件进行更新或替换时,对象存储 COS都会自动创建并保存一个新的版本,同时保留旧版本的文件。这意味着即使最新的版本因误操作或系统故障而被删除或损坏,企业用户仍然可以从历史版本中轻松恢复数据

此外,版本控制还引入了"删除标记"的概念。当用户删除一个对象时,COS并不会立即从存储桶中彻底移除该对象,而是为其创建一个带有删除标记的新版本。这个删除标记可以被视作一个软删除操作,使得被删除的对象在一定时间内仍然可以被恢复。这种设计进一步增强了数据的安全性,防止了因误删除而导致的数据永久丢失。

除了提供数据恢复的能力外,版本控制还允许企业用户对存储桶中的对象进行精细化的管理和控制。用户可以根据版本ID查询、列出和删除特定的对象版本,从而实现对数据的灵活管理。这种灵活性使得企业用户能够在不影响其他版本的情况下,轻松地处理和归档旧版本的数据。

版本控制为企业用户提供了一种可靠且灵活的数据管理解决方案。通过自动保存对象的历史版本和引入删除标记机制,版本控制有效地保障了企业数据的安全性和可恢复性。这使得企业在面对意外情况时能够迅速作出反应,最大限度地减少数据损失和业务中断的风险。

跨地域复制

跨地域复制能力可以将业务的增量数据跨地域同步。用户上传的数据,根据其文件大小和地域距离远近,可以在几秒到几十分钟内拷贝到另一地域的存储桶中。基于跨地域复制,可以实现数据的异地冗余备份,从而实现业务容灾。

企业可以通过配置跨地域复制能力构建业务层面的高可用架构,在高可用架构中,除了数据的异地容灾存储之外,还可以结合客户端的容灾切换能力,实现故障容灾的能力。比如在如下的高可用架构中:

  1. 正常情况下,企业的主写请求链路均指向存储桶 A,所有增量数据将被自动同步复制到存储桶 B 中作为备份数据。
  2. 当主存储桶 A 的链路不通时(例如拨测质量下降或者检测到上传失败),则客户端可以将写请求链路切换至主存储桶 B,此时所有增量数据同样将被自动同步复制到存储桶 A 中。
  3. 企业用户还可以选择在自有源站先备份一份冗余数据,同时给存储桶 B 配置回源策略。假设在极端情况下,主存储桶 A 和 B 链路都同时无法连通,那么在上传数据到存储桶 B 失败的情况下,存储桶 B 可以从源站拉取数据。
  4. 如果业务涉及到外网分发,还可以搭配 CDN 的主备容灾能力实现自动容灾切换,在存储桶 A 故障的时候,将业务的回源链路切换到存储 B 上。

多AZ存储

多 AZ(Multiple Availability Zones)是由腾讯云对象存储推出的多 AZ 存储架构,该架构将客户数据分散存储在城市中多个不同的数据中心,当某个数据中心因自然灾害、断电等极端情况导致整体故障时,仍能为客户提供稳定可靠的存储服务。

对于多 AZ 存储,COS 存储引擎部署在3个环境独立的 AZ 上。用户上传的数据将被切片存储在3个 AZ 的多个节点中。基于 EC 纠删码算法,原始数据会被切分为 N 个数据块,再由算法生成 M 个校验块,由此产生了多个存储分块。COS 将这些存储分块打散分布在3个 AZ 的不同机架服务器上,就实现了多 AZ 存储。

当机房故障导致部分节点、可用区损坏时,部分分块不可用,多 AZ 存储仍可以利用备 AZ 其他分块保证用户读、写数据成功,确保客户业务连续不中断。

相比单 AZ 存储,多 AZ 存储具有以下优势:
同城容灾 :提供跨数据中心的容灾。多 AZ 存储架构下,对象数据会被存储在同个地域不同数据中心的不同设备中。当一个数据中心出现故障时,冗余数据中心保持可用,用户业务不受影响,数据不丢失。
稳定持久 :采用纠删码冗余存储的方式,提供了高达99.9999999999%的数据设计可靠性;数据分块存储,并发读写,提供高达99.995%的服务设计可用性。
便捷易用:通过对象存储类型指定您的数据存储于何种存储架构,您可以指定存储桶内的任意对象存储到多 AZ 架构中,让使用更为简单。

相关推荐
运维小文4 天前
cephFS的使用以及K8S对接cephFS
ceph·云原生·容器·kubernetes·对象存储·cephfs
运维小文13 天前
ceph的存储池管理
ceph·云原生·对象存储·存储·分布式存储·cephfs
运维小文18 天前
ceph的用户管理和cephx认证
ceph·对象存储·cephfs·ceph用户管理·cephx
运维小文1 个月前
ceph的集群管理
ceph·对象存储·存储·ceph集群管理·ceph节点管理
Ciderw1 个月前
块存储、文件存储和对象存储详细介绍
网络·数据库·nvme·对象存储·存储·块存储·文件存储
百度智能云技术站2 个月前
计算不停歇,百度沧海数据湖存储加速方案 2.0 设计和实践
hdfs·数据湖·对象存储·并行文件存储
wusong9994 个月前
minio笔记之windows下安装使用
笔记·对象存储·minio
戴国进5 个月前
分布式对象存储minio
对象存储·oss
thanks5 个月前
Bond——大数据时代的数据交换和存储格式
大数据·对象存储