使用 AWS boto3 库从 s3 桶中批量下载数据

文章目录

  • [一、Boto3 快速安装](#一、Boto3 快速安装)
  • 二、账户配置
  • 三、代码示例
    • [3.1 下载单个文件](#3.1 下载单个文件)
    • [3.2 下载文件夹内全部文件](#3.2 下载文件夹内全部文件)

官方文档

一、Boto3 快速安装

安装 Boto3 之前,先安装 Python 3.8 或更高版本;对 Python 3.6 及更早版本的支持已弃用。

通过 pip 安装最新的 Boto3 版本:

shell 复制代码
pip install boto3

使用 AWS Common Runtime (CRT)

除了默认安装 Boto3 之外,还可以选择包含新的 CRT。AWS CRT 是模块化包的集合,充当 AWS 开发工具包的新基础。每个库都为其实现的功能区域提供更好的性能和最小的占用空间。使用 CRT,开发工具包可以在可能的情况下共享相同的基本代码,从而提高 AWS 开发工具包之间的一致性和吞吐量优化。

但是,Boto3 默认情况下不使用 AWS CRT,但可以通过在安装 Boto3 时指定 crt 额外功能来选择使用它:

shell 复制代码
pip install boto3[crt]

要恢复到 Boto3 的非 CRT 版本,使用以下命令:

shell 复制代码
pip uninstall awscrt

如果需要重新启用 CRT,重新安装 boto3[crt] 以确保获得兼容版本 awscrt

二、账户配置

  1. 在代码中配置账户信息:
shell 复制代码
s3 = boto3.resource('s3', aws_access_key_id="", aws_secret_access_key="")
# s3 = boto3.client('s3', aws_access_key_id="", aws_secret_access_key="")
  1. 在电脑配置文件中配置账户信息(提前安装 AWS CLI):
    • 可以使用 aws configure 命令来修改配置文件;
    • 可以直接修改配置文件,默认情况下,配置文件的位置为 ~/.aws/credentials。配置文件至少应该指定 aws_access_key_idaws_secret_access_key

三、代码示例

3.1 下载单个文件

python 复制代码
import boto3

# 配置S3连接
s3 = boto3.resource('s3')
bucket_name = 'your-bucket-name'

# 定义要下载的文件名
file_key = 'your-file-path-in-s3'

# 下载文件
s3.Bucket(bucket_name).download_file(file_key, 'local-file-path')

3.2 下载文件夹内全部文件

python 复制代码
def download_folder(bucket_name, folder, local_dir=None):
    """
        Download an object from an S3 bucket
    """
    count = 0
    bucket = s3.Bucket(bucket_name)

    for obj in bucket.objects.filter(Prefix=folder):
        target = obj.key #if local_dir is None else os.path.join(local_dir, os.path.relpath(obj.key, folder))
        if not os.path.exists(os.path.dirname(os.path.dirname(target))):
            os.makedirs(os.path.dirname(os.path.dirname(target)))
        # 额外下载文件夹中文件夹内的 object
        #if obj.key[-1] == '/':
        #    continue
        target_path = os.path.join(os.path.dirname(os.path.dirname(target)), target.split('/')[-1])
        bucket.download_file(obj.key, target_path)
        count += 1

    print("cont: ", count)
相关推荐
-KamMinG12 小时前
阿里云ClickHouse数据保护秘籍:本地备份与恢复详解
clickhouse·阿里云·云计算
爱考证的小刘13 小时前
阿里云ACA认证[特殊字符]阿里云ACP认证
数据库·阿里云·云计算
慧星云19 小时前
魔多 AI 支持 Kontext 在线训练 :超高角色一致性助您创作
人工智能·云计算·aigc
练习两年半的工程师1 天前
AWS TechFest 2025: 风险模型的转变、流程设计的转型、生成式 AI 从实验走向实施的三大关键要素、评估生成式 AI 用例的适配度
人工智能·科技·金融·aws
清风徐来QCQ1 天前
阿里云centos7-mysql的使用
mysql·阿里云·云计算
iGarment1 天前
服装采购跟单系统的高效管理实践
大数据·经验分享·云计算
XINVRY-FPGA1 天前
XCVP1902-2MSEVSVA6865 AMD 赛灵思 XilinxVersal Premium FPGA
人工智能·嵌入式硬件·神经网络·fpga开发·云计算·腾讯云·fpga
熙客2 天前
创建阿里云ECS实例操作(免费试用版)
服务器·阿里云·云计算
Clownseven2 天前
腾讯云远程桌面连接不上?5步排查法解决RDP连接失败
云计算·github·腾讯云
练习两年半的工程师2 天前
AWS TechFest 2025: 适合使用 Agentic AI 的场景、代理(Agents)应用的平衡之道、数据战略优先级矩阵、新治理模式
人工智能·云计算·aws