腾讯云 emr 无法以cosn 写入云存储

pyspark 中使用 df.write.parquet("cosn://bucketname/file")

报错 unable to verify integrity of data upload. Client calculate content hash didn't match hash etag xxxxx calculate by cos

根因:腾讯云cos开了桶加密,所以两边hash计算结果不同。

解决方法:spark侧,添加参数:fs.cosn.server-side-encryption.algorithm 写入算法名字

或者关闭桶加密(应该不会选这个吧)

试过的其他办法:

spark参数设置关闭md5验证,但都行不通

相关推荐
freejackman3 天前
【架构篇】双遍历 + 多栈协同:手撸 SQL 血缘引擎的架构思考
java·大数据·数据库·hive·sql·架构·spark
陈年老古董3 天前
Spark 3.1.3 集群搭建 + Spark-SQL 整合 Hive 记录
hive·sql·spark
乌恩大侠3 天前
「AI-RAN」Aerial,使用ORAN C1模式
人工智能·5g·spark·o-ru·ai-ran
测试盐4 天前
spark作业日志定位过程
java·hadoop·spark
IT研究室4 天前
最新大数据毕业设计选题推荐-基于大数据的Kaggle竞赛团队协作模式与效能可视化分析-大数据-Spark-Hadoop-Bigdata
大数据·spark·课程设计
棣廷6 天前
初识Spark Core
大数据·分布式·spark
磁场转动100万匹9 天前
Spark Core 核心原理:从 RDD 到分布式计算
大数据·分布式·spark
ha_lydms10 天前
AnalyticDB MySQL 技术架构
大数据·hadoop·mysql·adb·spark·dataworks·1024程序员节
红海云11 天前
两台DGX Spark部署DeepSeek的实战边界
大数据·分布式·spark