driver 端 之输出文件
如果我们碰到有spark任务所有task结束了但是任务还没结束，很可能就是Driver还在不断的拷文件；
涉及参数：
mapreduce.fileoutputcommitter.algorithm.version = 1
mapreduce.fileoutputcommitter.algorithm.version = 2可以参考如下
spark 之 driver
zhixingheyi_tian2023-10-12 19:48
相关推荐
ACP广源盛1392462567317 分钟前
Qwen3.8‑2.4T 开源落地@ACP#国产 MoE 大模型私有化部署中 MST 多屏转换芯片 GSV2231 硬件价值与应用场景万岳科技系统开发31 分钟前
外卖跑腿小程序如何提升本地生活服务平台运营效率？cc复CC42 分钟前
从零开始手写 Spark 03｜RDD 的惰性流水线cc复CC1 小时前
从零开始手写 Spark 02｜数据流与延迟迭代数据智研1 小时前
【数据分享】全国农产品成本收益资料汇编（1953-2025）yinshuzhineng1 小时前
问题：如何实现数字化转型，增强竞争优势？七夜zippoe2 小时前
基于 DolphinDB 构建分布式集群：从节点配置到高可用部署的完整实践Zaimmm2 小时前
临床文献智能检索哪家强？2026年主流AI循证平台深度测评与推荐QYR_Jodie2 小时前
2026-2032全球玻璃纤维网市场分析：2032年将达到5.55亿美元八角Z2 小时前
AI Agent作为经济参与者的兴起：机器经济与传统金融体系的并存与交织