使用 boto3 读取 AWS S3 文件的简单指南

使用 boto3 从 AWS S3 存储桶中读取文件内容是一种常见的操作。以下是步骤指南，帮助你快速上手。

步骤 1: 安装 boto3

首先，确保你已经安装了 boto3。如果没有，可以使用 pip 进行安装：

pip install boto3

步骤 2: 配置 AWS 凭据

确保你的 AWS 凭据（Access Key ID 和 Secret Access Key）配置正确。你可以通过环境变量、配置文件或直接在代码中指定这些凭据。

步骤 3: 连接到 S3

使用 boto3 连接到 S3 存储桶：

import boto3

# 创建 S3 客户端
s3 = boto3.client('s3')
# 或者使用资源模型
# s3 = boto3.resource('s3')

# 指定存储桶名称
bucket_name = 'your-bucket-name'

步骤 4: 读取文件内容

使用 get_object 方法读取文件内容：

# 指定文件键（路径）
file_key = 'path/to/your/file.txt'

# 读取文件内容
response = s3.get_object(Bucket=bucket_name, Key=file_key)

# 解码并打印文件内容
contents = response['Body'].read().decode('utf-8')
print(contents)

示例：读取不同类型文件

• 文本文件 ：如上所示，使用 decode('utf-8') 解码。
• 二进制文件：不需要解码，直接读取为 bytes。

# 读取二进制文件
binary_contents = response['Body'].read()

步骤 5: 遍历存储桶中的所有文件

如果你需要遍历存储桶中的所有文件，可以使用 list_objects_v2 方法：

# 遍历存储桶中的所有文件
response = s3.list_objects_v2(Bucket=bucket_name)

if 'Contents' in response:
    for obj in response['Contents']:
        file_key = obj['Key']
        # 读取每个文件的内容
        response = s3.get_object(Bucket=bucket_name, Key=file_key)
        contents = response['Body'].read().decode('utf-8')
        print(f"File: {file_key}, Contents: {contents}")

使用资源模型

如果你更喜欢使用 boto3 的资源模型，可以这样做：

s3 = boto3.resource('s3')
bucket = s3.Bucket(bucket_name)

for obj in bucket.objects.all():
    file_key = obj.key
    body = obj.get()['Body'].read().decode('utf-8')
    print(f"File: {file_key}, Contents: {body}")

使用 smart_open 读取文件

如果你需要以流式方式读取文件，可以使用 smart_open 库：

from smart_open import smart_open

with smart_open(f's3://{bucket_name}/{file_key}', 'rb') as f:
    for line in f:
        print(line.decode('utf-8'))

确保安装了 smart_open：

pip install smart_open

优势与应用场景

• boto3 适合直接操作 S3 文件，提供了丰富的 API。
• smart_open 适合需要流式处理或读取大文件时，减少内存占用。

常见错误与解决方案

• 权限错误：检查 AWS 凭据是否正确配置。
• 文件不存在：确保文件路径和存储桶名称正确。

通过这些步骤和示例，你可以轻松地使用 boto3 和 smart_open 从 AWS S3 中读取文件内容。