pyspark 中使用 df.write.parquet("cosn://bucketname/file")
报错 unable to verify integrity of data upload. Client calculate content hash didn't match hash etag xxxxx calculate by cos
根因:腾讯云cos开了桶加密,所以两边hash计算结果不同。
解决方法:spark侧,添加参数:fs.cosn.server-side-encryption.algorithm 写入算法名字
或者关闭桶加密(应该不会选这个吧)

试过的其他办法:
spark参数设置关闭md5验证,但都行不通