如何将API 中的excel 文件load 到 Azure blob 中

背景: 项目中一个API 中的excel 加密了,需要完成以下任务:

任务一: 将这个excel 文件从API 获取,解密后将数据load 进SQL SERVER 数据库

任务二:将这个excel 文件从API 获取后,解密后将数据excel 数据load 到 Azure blob 中存储起来

对于第一个任务,先不提供方案,今天就第二个任务提供如下方案:

python 复制代码
import os
from io import BytesIO
import pandas as pd
from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

# 假设`bytes_data`是您解密后从API获得的Excel数据的BytesIO对象
# bytes_data = ...

# 将BytesIO对象转化为DataFrame
with BytesIO() as bio:
    # 加载到Pandas DataFrame中
    bio.write(bytes_data.getvalue())
    bio.seek(0)  # 移动到文件的开头
    df = pd.read_excel(bio)

# 将DataFrame转换回Excel文件保存在BytesIO对象中
with BytesIO() as bio:
    # 将DataFrame保存到Excel文件格式的BytesIO对象中
    with pd.ExcelWriter(bio, engine='openpyxl') as writer:
        df.to_excel(writer)
    
    # 准备将Excel文件上传到Azure Blob Storage
    bio.seek(0)
    excel_data = bio.read()

    # 初始化Azure Blob Service Client
    # 假设你已经有了AZURE_STORAGE_CONNECTION_STRING
    connection_str = os.getenv('AZURE_STORAGE_CONNECTION_STRING')
    blob_service_client = BlobServiceClient.from_connection_string(connection_str)

    # 创建Blob客户端来上传文件
    # 需要Blob容器名称和文件路径在Blob中的名称
    container_name = 'your_container_name'
    blob_name = 'your_blob_name.xlsx'
    blob_client = blob_service_client.get_blob_client(container=container_name, blob=blob_name)

    # 上传BytesIO对象中的数据到Azure Blob
    blob_client.upload_blob(excel_data, blob_type="BlockBlob", overwrite=True)

    print(f'{blob_name} uploaded to {container_name}')

# 注意: 以上代码中的`your_container_name`和`your_blob_name.xlsx`要替换成你的Azure存储账户的实际容器名称和Blob名称。
# 另外,确保你有适当的权限和正确的连接字符串

Note: 在上传到Azure Blob之前,你需要确保你有一个有效的Azure存储账户,并创建了一个容器。同时,你需要将AZURE_STORAGE_CONNECTION_STRING设置为环境变量或以其他方式提供给你的脚本,这样才能认证你的身份并连接到Azure Blob Storage。

在这个过程中,自己走了很多弯路

弯路1,使用XlsxWriter ,走到这里,不知道该如何跟Blob 的 upload_bload 方法结合使用,

python 复制代码
import xlsxwriter

bio = io.BytesIO()

workbook = xlsxwriter.Workbook(bio)
worksheet = workbook.add_worksheet()

弯路2,upload_blob 的使用还是一知半解,不知如何变通,后续需要继续研究 upload_blob

blob 中的upload_blob 的官方文档:使用 Python 上传 blob - Azure Storage | Microsoft Learn

提到,将数据上传到块 Blob有如下路子:

1.通过本地文件路径上传块 Blob

2.通过流式传输上传块 Blob

3.将二进制数据上传到块 Blob

相关推荐
特创数字科技1 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
东莞市云毅网络有限公司3 小时前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
Thanks_ks3 小时前
【第 010 讲】全面掌握 Python 变量与常量:变量的定义与赋值 | 标识符与命名规范 | 变量的底层机制 | 常量与魔术数字
python·内存·变量·标识符·常量·赋值·命名规范
飞Link3 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
用户0332126663674 小时前
使用 Python 快速查找并高亮 PDF 中的文本
python
用户019027581614 小时前
用 pandas-ta 给 A 股算技术指标(配合 AlphaFeed)
python
2601_967980115 小时前
python+appium自动化测试如何控制App的启动和退出
android·自动化测试·python·appium·设备调试
威哥爱编程6 小时前
模拟面试智能体开发实战 12:每篇都能跑不等于接起来能跑,端到端联调收官把十一块拼图合成一个能用的智能体
python·agent·harmonyos
威哥爱编程6 小时前
模拟面试智能体开发实战 11:报告只躺在后端怎么复盘,把总评搬上手机还要适配大小屏
python·agent·harmonyos
2601_967987377 小时前
Python 实现行为驱动开发 (BDD) 自动化测试详解
自动化测试·python·bdd·behave·gherkin