腾讯云 emr 无法以cosn 写入云存储

pyspark 中使用 df.write.parquet("cosn://bucketname/file")

报错 unable to verify integrity of data upload. Client calculate content hash didn't match hash etag xxxxx calculate by cos

根因:腾讯云cos开了桶加密,所以两边hash计算结果不同。

解决方法:spark侧,添加参数:fs.cosn.server-side-encryption.algorithm 写入算法名字

或者关闭桶加密(应该不会选这个吧)

试过的其他办法:

spark参数设置关闭md5验证,但都行不通

相关推荐
starzy199011 小时前
Spark 核心之 Spark-SortShuffle 原理深度剖析
大数据·spark
用户36105886261215 小时前
Spark 核心之 Spark 内存管理深度剖析
大数据·spark
乌恩大侠1 天前
【AI-RAN】硬件产品:DELL 前传交换机
人工智能·spark·aerial·o-ru·ai-ran
starzy19901 天前
Spark 核心之自定义累加器以及版本对比变化深度剖析
大数据·ajax·spark
用户3610588626122 天前
Spark 核心之 Spark-SortShufflebypass 原理深度剖析
大数据·spark
starzy19902 天前
Spark 核心之二次排序、分组取 TopN 优化分析
大数据·分布式·spark
乌恩大侠3 天前
图解 AI-RAN开发需要哪些软硬件:O-RU、DGX Spark、Sionna与Aerial
人工智能·spark·o-ru·ai-ran
阿里云大数据AI技术3 天前
阿里云 EMR Daft AI Function:用 DataFrame 表达式搞定大模型调用与多模态向量化
人工智能·spark
BD_Marathon4 天前
部署Spark
大数据·javascript·spark
Blossom i4 天前
Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境
大数据·hadoop·spark