文章目录
- [一、Boto3 快速安装](#一、Boto3 快速安装)
- 二、账户配置
- 三、代码示例
-
- [3.1 下载单个文件](#3.1 下载单个文件)
- [3.2 下载文件夹内全部文件](#3.2 下载文件夹内全部文件)
一、Boto3 快速安装
安装 Boto3 之前,先安装 Python 3.8 或更高版本;对 Python 3.6 及更早版本的支持已弃用。
通过 pip
安装最新的 Boto3 版本:
shell
pip install boto3
使用 AWS Common Runtime (CRT)
除了默认安装 Boto3 之外,还可以选择包含新的 CRT。AWS CRT 是模块化包的集合,充当 AWS 开发工具包的新基础。每个库都为其实现的功能区域提供更好的性能和最小的占用空间。使用 CRT,开发工具包可以在可能的情况下共享相同的基本代码,从而提高 AWS 开发工具包之间的一致性和吞吐量优化。
但是,Boto3 默认情况下不使用 AWS CRT,但可以通过在安装 Boto3 时指定 crt
额外功能来选择使用它:
shell
pip install boto3[crt]
要恢复到 Boto3 的非 CRT 版本,使用以下命令:
shell
pip uninstall awscrt
如果需要重新启用 CRT,重新安装 boto3[crt]
以确保获得兼容版本 awscrt
。
二、账户配置
- 在代码中配置账户信息:
shell
s3 = boto3.resource('s3', aws_access_key_id="", aws_secret_access_key="")
# s3 = boto3.client('s3', aws_access_key_id="", aws_secret_access_key="")
- 在电脑配置文件中配置账户信息(提前安装 AWS CLI):
- 可以使用
aws configure
命令来修改配置文件; - 可以直接修改配置文件,默认情况下,配置文件的位置为
~/.aws/credentials
。配置文件至少应该指定aws_access_key_id
和aws_secret_access_key
。
- 可以使用
三、代码示例
3.1 下载单个文件
python
import boto3
# 配置S3连接
s3 = boto3.resource('s3')
bucket_name = 'your-bucket-name'
# 定义要下载的文件名
file_key = 'your-file-path-in-s3'
# 下载文件
s3.Bucket(bucket_name).download_file(file_key, 'local-file-path')
3.2 下载文件夹内全部文件
python
def download_folder(bucket_name, folder, local_dir=None):
"""
Download an object from an S3 bucket
"""
count = 0
bucket = s3.Bucket(bucket_name)
for obj in bucket.objects.filter(Prefix=folder):
target = obj.key #if local_dir is None else os.path.join(local_dir, os.path.relpath(obj.key, folder))
if not os.path.exists(os.path.dirname(os.path.dirname(target))):
os.makedirs(os.path.dirname(os.path.dirname(target)))
# 额外下载文件夹中文件夹内的 object
#if obj.key[-1] == '/':
# continue
target_path = os.path.join(os.path.dirname(os.path.dirname(target)), target.split('/')[-1])
bucket.download_file(obj.key, target_path)
count += 1
print("cont: ", count)