使用 AWS boto3 库从 s3 桶中批量下载数据

文章目录

  • [一、Boto3 快速安装](#一、Boto3 快速安装)
  • 二、账户配置
  • 三、代码示例
    • [3.1 下载单个文件](#3.1 下载单个文件)
    • [3.2 下载文件夹内全部文件](#3.2 下载文件夹内全部文件)

官方文档

一、Boto3 快速安装

安装 Boto3 之前,先安装 Python 3.8 或更高版本;对 Python 3.6 及更早版本的支持已弃用。

通过 pip 安装最新的 Boto3 版本:

shell 复制代码
pip install boto3

使用 AWS Common Runtime (CRT)

除了默认安装 Boto3 之外,还可以选择包含新的 CRT。AWS CRT 是模块化包的集合,充当 AWS 开发工具包的新基础。每个库都为其实现的功能区域提供更好的性能和最小的占用空间。使用 CRT,开发工具包可以在可能的情况下共享相同的基本代码,从而提高 AWS 开发工具包之间的一致性和吞吐量优化。

但是,Boto3 默认情况下不使用 AWS CRT,但可以通过在安装 Boto3 时指定 crt 额外功能来选择使用它:

shell 复制代码
pip install boto3[crt]

要恢复到 Boto3 的非 CRT 版本,使用以下命令:

shell 复制代码
pip uninstall awscrt

如果需要重新启用 CRT,重新安装 boto3[crt] 以确保获得兼容版本 awscrt

二、账户配置

  1. 在代码中配置账户信息:
shell 复制代码
s3 = boto3.resource('s3', aws_access_key_id="", aws_secret_access_key="")
# s3 = boto3.client('s3', aws_access_key_id="", aws_secret_access_key="")
  1. 在电脑配置文件中配置账户信息(提前安装 AWS CLI):
    • 可以使用 aws configure 命令来修改配置文件;
    • 可以直接修改配置文件,默认情况下,配置文件的位置为 ~/.aws/credentials。配置文件至少应该指定 aws_access_key_idaws_secret_access_key

三、代码示例

3.1 下载单个文件

python 复制代码
import boto3

# 配置S3连接
s3 = boto3.resource('s3')
bucket_name = 'your-bucket-name'

# 定义要下载的文件名
file_key = 'your-file-path-in-s3'

# 下载文件
s3.Bucket(bucket_name).download_file(file_key, 'local-file-path')

3.2 下载文件夹内全部文件

python 复制代码
def download_folder(bucket_name, folder, local_dir=None):
    """
        Download an object from an S3 bucket
    """
    count = 0
    bucket = s3.Bucket(bucket_name)

    for obj in bucket.objects.filter(Prefix=folder):
        target = obj.key #if local_dir is None else os.path.join(local_dir, os.path.relpath(obj.key, folder))
        if not os.path.exists(os.path.dirname(os.path.dirname(target))):
            os.makedirs(os.path.dirname(os.path.dirname(target)))
        # 额外下载文件夹中文件夹内的 object
        #if obj.key[-1] == '/':
        #    continue
        target_path = os.path.join(os.path.dirname(os.path.dirname(target)), target.split('/')[-1])
        bucket.download_file(obj.key, target_path)
        count += 1

    print("cont: ", count)
相关推荐
天翼云开发者社区2 小时前
使用 Rust 实现的基础的List 和 Watch 机制
rust·云计算
AKAMAI17 小时前
跳过复杂环节:Akamai应用平台让Kubernetes生产就绪——现已正式发布
人工智能·云原生·云计算
天翼云开发者社区18 小时前
Rust 中的 Tokio 线程同步机制
云计算
天翼云开发者社区21 小时前
亮相2025年服贸会,天翼云打造高质量算力服务新生态!
云计算·天翼云
容器魔方3 天前
Bloomberg 正式加入 Karmada 用户组!
云原生·容器·云计算
AKAMAI4 天前
Sport Network 凭借 Akamai 实现卓越成就
人工智能·云原生·云计算
10岁的博客4 天前
《云计算如何驱动企业数字化转型:关键技术与实践案例》
云计算
m0_694845575 天前
教你使用服务器如何搭建数据库
linux·运维·服务器·数据库·云计算
shinelord明5 天前
【数据行业发展】可信数据空间~数据价值的新型基础设施
大数据·架构·云计算·创业创新
XINVRY-FPGA5 天前
XCKU15P-2FFVA1760I AMD 赛灵思 Xilinx Kintex UltraScale+ FPGA
arm开发·嵌入式硬件·阿里云·fpga开发·云计算·硬件工程·fpga