一家公司在其企业数据中心的一个大型网络附加存储（NAS）系统上存储了700 TB的数据。公司拥有一个混合环境，配备10 Gbps的AWS Direct Connect连接。在监管机构审计后，公司需要在90天内将数据迁移到云端。公司需要高效且无中断地移动数据，同时在传输期间仍然能够访问和更新数据，这样可以在企业数据中心创建一个AWS DataSync代理，并创建一个数据传输任务，然后开始传输到Amazon S3存储桶。
1. 问题概述与要求分析
公司需要将700TB数据从本地NAS迁移到云端的Amazon S3，同时满足以下关键要求：
- 高效性：在90天内完成迁移，充分利用现有的10 Gbps AWS Direct Connect连接。
- 无中断：迁移过程不能影响业务运营，确保平滑过渡。
- 持续访问和更新：在迁移期间，公司必须能够继续访问和修改数据，避免业务停顿。
这样就需要一种支持增量同步和实时数据处理的解决方案。
在给定的场景中，使用AWS DataSync是唯一能全面满足高效、无中断和持续访问要求的解决方案。它利用现有的Direct Connect连接，通过自动化同步确保数据迁移平滑进行。企业采用DataSync可以降低风险，加速云迁移，同时保持业务连续性。
通过这个解决方案，公司不仅能在90天内完成迁移，还能为未来的混合云操作奠定基础，实现数据的灵活管理和可扩展性。
使用AWS DataSync
- 工作原理：AWS DataSync是一种托管数据传输服务，通过在本地部署一个代理，自动化地将数据从NAS系统同步到Amazon S3。它支持增量传输，仅传输发生变化的数据块，减少带宽消耗。传输过程通过Direct Connect连接进行，确保高速和安全。
- 符合要求的原因 ：
- 高效性：DataSync优化了传输性能，利用多线程和并行处理，最大化利用10 Gbps带宽。理论计算显示，10 Gbps连接每天可传输约108TB数据，700TB数据可在6.5天内完成初始传输，远低于90天期限。实际中，DataSync能处理网络波动，确保效率。
- 无中断：作为托管服务，DataSync自动处理错误重试和验证，最小化人工干预。迁移过程对用户透明，业务操作不受影响。
- 持续访问和更新：DataSync支持计划任务或持续同步，在迁移期间允许本地数据被访问和更新。任何更改都会自动同步到S3，确保数据一致性。
- 优势：DataSync专为混合环境设计，提供端到端监控和日志，符合审计要求。它还能处理大量小文件或大文件，适合700TB的复杂数据集。
解决方案详细阐述
AWS DataSync是满足所有要求的最佳选择，其解决方案包括以下步骤：
- 部署DataSync代理：在本地数据中心部署一个DataSync代理，该代理与NAS系统集成，通过Direct Connect连接AWS。代理负责协调数据传输，确保安全性和效率。
- 创建数据传输任务：在AWS管理控制台中配置任务，指定源（本地NAS）和目标（Amazon S3桶）。设置传输计划（如连续同步或定期同步），以匹配业务需求。
- 启动传输和监控：开始初始传输，DataSync会自动识别和传输所有数据。之后，它持续监控变化，仅同步增量数据。通过AWS CloudWatch监控传输进度和性能，确保符合SLA。
- 确保持续访问和更新：在传输期间，本地用户仍可正常读写NAS数据。DataSync使用事务一致性模型，确保数据更新时不会丢失或冲突。例如，如果一个文件在传输中被修改，DataSync会优先处理最新版本，避免数据不一致。
为什么DataSync高效且无中断？
- 带宽优化：DataSync使用压缩和并行传输，减少数据量并最大化带宽利用率。10 Gbps连接下，700TB数据可在理论6.5天内完成初始传输，剩余时间用于持续同步，确保90天内完成。
- 自动化和可靠性：作为托管服务，DataSync处理网络故障重试、数据校验和加密，减少人工干预。它支持高可用部署，代理可扩展以适应负载。
- 成本效益：相比物理设备（如Snowball），DataSync按使用量付费，对于700TB迁移，总成本可能更低，且无需设备管理和运输。
为什么DataSync适合监管审计？
- DataSync提供详细日志和报告，满足合规性要求。数据在传输中加密，符合安全标准。