spark History Server 重启失败

Ambari 在启动 Spark History Server 时,会通过 fast-hdfs-resource.jar 执行一系列 HDFS 资源操作,其中包括递归设置 /spark-history/ 目录权限(mode=0777)。

该操作会遍历目录下的所有文件,但当它遇到一个已经被删除的 .inprogress 文件时(可能是因为文件在遍历过程中被清理程序删除),就会抛出 FileNotFoundException。

这属于 Ambari 脚本的鲁棒性问题,清理残留文件可临时解决。

修改页面dir 的log配置: /spark-history2 重启

hdfs dfs -rm -r /spark-history

修改页面dir 的log配置: /spark-history 重启

hdfs dfs -rm -r /spark-history2

相关推荐
方向研究3 小时前
浮法玻璃FG生产
大数据
YangYang9YangYan3 小时前
2026大专大数据科学专业就业市场竞争激烈吗?
大数据
KKKlucifer3 小时前
能源行业数据分类分级标准与落地实践
大数据
码农小白AI3 小时前
IACheck赋能教学实验样品分析检测,AI报告审核保障实验报告精准可靠
大数据·人工智能
云安全联盟大中华区3 小时前
[特殊字符] | OpenClaw威胁模型:MAESTRO框架分析
大数据·人工智能·深度学习·安全·ai
渣渣盟4 小时前
Flink定时器实战:处理时间与事件时间
大数据·flink·scala
ChoSeitaku4 小时前
Git的安装|创建仓库|配置Git|添加文件|修改文件|版本回退|撤销修改|删除文件
大数据·git·elasticsearch
T06205144 小时前
上市公司-创新数据汇总指标(创新投入、创新产出、创新效率)(2006-2024年)
大数据
卡梅德生物科技4 小时前
卡梅德生物科普:CD140a(PDGFRα)靶点深度解析:机制、药物研发与未来趋势
大数据·人工智能·面试·职场和发展·学习方法