python上传以及下载AWS S3上的文件

免死金牌

由于本人平常是做NodeJS开发的,本次做的任务含有 Scheduled Job ,所以选择了使用Python作为这次开发的语言,毕竟跑脚本还是这玩意适合。

其中有一个任务是要从S3上拉下一些文件来处理,处理完成后再push 上去的需求,这时候就必须要有对S3上文件处理的熟悉度了。 由于对Python的数据类型不熟悉,所以也是查询了不少文档也才完成了这次任务,因此觉得记录下来的价值,​所以就诞生了这篇文章,也希望别人能用到。 对于S3的服务描述,本质就是一个文件存储商,所以当作一个提供了API的服务商即可。 在本文中,必定会有很多Python新手出现的错误,所以本人在此希望各位指出错误。

使用boto3配置S3

按照开发的思路,出来混的,参数配置肯定不能直接写死的,所以读取S3的环境变量也变得特别重要了,必须得选择写一个文件来放置

clike 复制代码
import os
import boto3
​
s3_client = boto3.client('s3', 
    aws_access_key_id=os.getenv('ACCESS_KEY'), 
    aws_secret_access_key=os.getenv('SECRET_KEY'), 
    region_name='ap-southeast-1'
)

这一块没啥好说的,就是配置了下S3的信息从os中读取而已。 比较需要注意的是,我们必须要用到 boto3 来连接 AWS S3 的服务,这是因为 boto3 是AWS专门用来给我们链接到他们的服务的一个python库 Boto3 是 Amazon Web Services (AWS) 软件开发工具包 (SDK) Python,它允许 Python 开发人员编写使用 Amazon S3 和 Amazon EC2 等服务。

下载/上传操作

到了这一步,我们已经配置好了链接到S3了,接下来需要的就是对上面的文件进行操作了,比如使用 get_object方法拉取到文件,用法如下:

clike 复制代码
try:
  print(id)
  response = s3_client.get_object(
    Bucket=os.getenv('BUCKET'),
     Key=id
  )
  report = pk.loads(response['Body'].read())
except Exception as error:
  print(error)
  abort(400, "Not Ready")

上述代码只是一个简单的try-catch捕获出现的问题而已,并没有什么很大的难度,所以不讲解。 当我们修改完我们的数据后,任需要将其放到S3上去,此时,必须要用到 put_object 方法去上传文件,而需要三个参数,分别是我们的Bucket的名字,我们的文件的名字,以及文件的实体,而这儿使用的是pickle模块的序列化,无他,我得节省些数据空间,而后期也会考虑是否直接生成一个xlsx文件,当哪天我出了一个博客是关于openxyl的时候,就是我修改为​xlsx文件的时候了。。。

clike 复制代码
try:
  s3_client.put_object(
    Bucket = os.getenv('BUCKET'),
    Key = s3_key,
    Body = pk.dumps(obj),
  )
except Exception as error:
  flash('Submission Failed')
  print(error)

​ ​ok,记录完毕,睡觉。

原创不易,希望能帮到你,求关注~

求关注公众号

相关推荐
悠悠小茉莉19 分钟前
Win11 安装 Visual Studio(保姆教程 - 更新至2025.07)
c++·ide·vscode·python·visualstudio·visual studio
m0_6256865534 分钟前
day53
python
Real_man1 小时前
告别 requirements.txt,拥抱 pyproject.toml和uv的现代Python工作流
python
站大爷IP2 小时前
Python文件操作的"保险箱":with语句深度实战指南
python
运器1232 小时前
【一起来学AI大模型】算法核心:数组/哈希表/树/排序/动态规划(LeetCode精练)
开发语言·人工智能·python·算法·ai·散列表·ai编程
巴里巴气4 小时前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
19894 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
JavaEdge在掘金4 小时前
Redis 数据倾斜?别慌!从成因到解决方案,一文帮你搞定
python
ansurfen4 小时前
我的第一个AI项目:从零搭建RAG知识库的踩坑之旅
python·llm
前端付豪4 小时前
20、用 Python + API 打造终端天气预报工具(支持城市查询、天气图标、美化输出🧊
后端·python