driver 端 之输出文件
如果我们碰到有spark任务所有task结束了但是任务还没结束，很可能就是Driver还在不断的拷文件；
涉及参数：
mapreduce.fileoutputcommitter.algorithm.version = 1
mapreduce.fileoutputcommitter.algorithm.version = 2可以参考如下
spark 之 driver
zhixingheyi_tian2023-10-12 19:48
相关推荐
字节跳动数据平台12 小时前
代码量减少 70%、GPU 利用率达 95%：火山引擎多模态数据湖如何释放模思智能的算法生产力得物技术13 小时前
深入剖析Spark UI界面：参数与界面详解|得物技术武子康15 小时前
大数据-238 离线数仓 - 广告业务 Hive分析实战：ADS 点击率、购买率与 Top100 排名避坑武子康2 天前
大数据-237 离线数仓 - Hive 广告业务实战：ODS→DWD 事件解析、广告明细与转化分析落地大大大大晴天2 天前
Flink生产问题排障-Kryo serializer scala extensions are not available武子康4 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程肌肉娃子4 天前
20260227.spark.Spark 性能刺客：千万别在 for 循环里写 withColumn初次攀爬者4 天前
ZooKeeper 实现分布式锁的两种方式武子康5 天前
大数据-235 离线数仓 - 实战：Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路DianSan_ERP5 天前
电商API接口全链路监控：构建坚不可摧的线上运维防线