使用Storage Transfer Service 事件驱动型 — 将AWS S3迁移到 GCP Cloud Storage

前情提要

Storage Transfer Service能帮助我们做什么

简化从不同数据源到 Google Cloud Storage 的数据迁移。
自动化和可配置的数据传输。
安全可靠的数据传输。

主要步骤

在 AWS Identity and Access Management (IAM) 中创建访问密钥
在 GCP 创建服务账号和服务账号密钥
在 AWS 创建 SQS 服务
配置转移作业的相关配置
启动并监控 Storage Transfer Service 传输作业

事前检查

Storage Transfer Service 配置核对
成本估算和预算评估。

环境准备

一、创建访问密钥

1.进入aws控制台页面，点击右上角设置，选择"安全凭证"

2.点击"创建访问密钥"

3.选择使用案例

4.点击"创建访问密钥"

5.下载密钥CSV文件

二、创建gcp 服务账号并创建密钥

1.进入GCP IAM控制台界面，点击"服务账号"

2.点击创建服务账号

3.输入服务账号名称、服务账号描述，点击"创建并继续"

4.为服务账号附加 "Storage Transfer Admin" 角色，然后点击"继续" 再点击"完成"

5.创建服务账号密钥，进入到服务账号权限，点击"密钥"、"添加键"、"创建新密钥"，将密钥文件下载到电脑。

三、创建 AWS SQS

1.进入AWS SQS 控制台，点击创建队列

2.修改访问策略，点击"高级"

将以下json 复制粘贴到策略

上述 JSON 中的占位符值采用以下格式：

AWS 是表示 Amazon Web Services 项目的数值。例如 "aws:SourceAccount": "1234567890"。

RESOURCE 是标识此队列的 Amazon Resource Number (ARN)。例如 "Resource": "arn:aws:sqs:us-west-2:01234567890:test"。

S3_BUCKET_ARN 是标识源存储桶的 ARN。例如 "aws:SourceArn": "arn:aws:s3:::example-aws-bucket"。您可以从 AWS 控制台的存储桶详情页面的属性标签页中找到存储桶的 ARN。

3.点击创建队列。

四、在S3 存储桶上启用通知。

1.在 AWS 控制台中，转到 S3 页面。选择您的源存储桶，选择属性标签页。

2.在事件通知部分，点击创建事件通知。

3.为此事件指定名称。

4.在事件类型部分中，选择所有对象创建事件。

5.选择 SQS 队列作为目标，然后选择您为此转移创建的队列，保存更改。

五、使用python配置Storage Transfer Service 传输作业，并开始作业传输。

1.安装所需要的包：google-cloud-storage-transfer、google-auth

|-------------------------------------------------------------------|
| pip install google-cloud-storage-transfer pip install google-auth |

2.使用以下代码

|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| from google.cloud import storage_transfer from google.oauth2 import service_account def create_event_driven_aws_transfer( ): """Create an event driven transfer between two GCS buckets that tracks an AWS SQS queue""" credentials = service_account.Credentials.from_service_account_file("YOUR_SERVICE_ACCOUNT_FILE") client = storage_transfer.StorageTransferServiceClient(credentials=credentials) # The ID of the Google Cloud Platform Project that owns the job project_id = 'PROJECT_ID' # A description of this job description = 'DESCRIPTION' # AWS S3 source bucket name source_s3_bucket = 'S3_BUCKET_NAME' # Google Cloud Storage destination bucket name sink_gcs_bucket = 'GCP_BUCKET_NAME' # The ARN of the SQS queue to subscribe to pubsub_id = 'SQS_ARN' # AWS Access Key ID. Should be accessed via environment variable for security purposes. aws_access_key_id = 'ACCESS_KEY_ID' # AWS Secret Access Key. Should be accessed via environment variable for security purposes. aws_secret_access_key = 'SECRET_ACCESS_KEY' transfer_job_request = storage_transfer.CreateTransferJobRequest( { "transfer_job": { "project_id": project_id, "description": description, "status": storage_transfer.TransferJob.Status.ENABLED, "transfer_spec": { "aws_s3_data_source": { "bucket_name": source_s3_bucket, "aws_access_key": { "access_key_id": aws_access_key_id, "secret_access_key": aws_secret_access_key, }, }, "gcs_data_sink": { "bucket_name": sink_gcs_bucket, }, }, "event_stream": { "name": pubsub_id, }, }, }, ) result = client.create_transfer_job(transfer_job_request) print(f"Created transferJob: {result.name}") create_event_driven_aws_transfer() |

运行代码后，显示Created transferJob 表示作业成功创建

注意事项

Glacier 对象在传输的之前需要将对象先还原后再进行传输
事件驱动传输会监听发送到Amazon SQS 的 Amazon S3 事件通知，以了解源存储桶中的对象何时被修改或添加。不会检测对象删除；删除源中的对象不会删除目标存储桶中的相关对象。