技术栈

腾讯云 emr 无法以cosn 写入云存储

whuang0942026-05-03 23:56

pyspark 中使用 df.write.parquet("cosn://bucketname/file")

报错 unable to verify integrity of data upload. Client calculate content hash didn't match hash etag xxxxx calculate by cos

根因:腾讯云cos开了桶加密,所以两边hash计算结果不同。

解决方法:spark侧,添加参数:fs.cosn.server-side-encryption.algorithm 写入算法名字

或者关闭桶加密(应该不会选这个吧)

试过的其他办法:

spark参数设置关闭md5验证,但都行不通

上一篇:keil 工程 .gitignore配置文件
相关推荐
howard2005
1 天前
2.4.3 集群模式运行Spark项目
spark·项目打包·提交运行
孤雪心殇
1 天前
快速上手数仓基础知识
数据仓库·hive·spark
渣渣盟
1 天前
Spark 性能调优实战:从开发到生产落地
javascript·ajax·spark
渣渣盟
3 天前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
DolphinScheduler社区
3 天前
DolphinScheduler 3.3.2 如何调用 DataX 3.0 + SeaTunnel 2.3.12?附 Demo演示!
java·spark·apache·海豚调度·大数据工作流调度
Leo.yuan
4 天前
数据仓库是什么?数据仓库和大数据平台、数据湖、数据中台、湖仓一体有什么区别?
大数据·数据仓库·spark
heiqizero
4 天前
Spark RDD动作算子
spark
heiqizero
4 天前
Spark RDD转换算子02
spark
heiqizero
4 天前
Spark RDD转换算子01
spark
热门推荐
01要裂开了!ChatGPT要手机号验证了?注册Codex要求验证电话号码怎么办?2026年登陆Codex要手机号验证的解决办法02GitHub 镜像站点03Codex 接入 DeepSeek API 完整配置文档04【AI】2026 年具身智能模型和世界模型总结05裂开!ChatGPT 居然开始要手机号验证,附详细解决方法06零基础教你claude code 接入 deepseek V4072026年AI前瞻:量子AI、具身智能与科学发现的新纪元08在Windows 11上安装Docker的踩坑记录09实测可用|小米 MiMo 百万亿 Token 免费领,开发者速冲10CC-Switch & Claude 基于 Linux 服务器安装使用指南