spark History Server 重启失败

Ambari 在启动 Spark History Server 时,会通过 fast-hdfs-resource.jar 执行一系列 HDFS 资源操作,其中包括递归设置 /spark-history/ 目录权限(mode=0777)。

该操作会遍历目录下的所有文件,但当它遇到一个已经被删除的 .inprogress 文件时(可能是因为文件在遍历过程中被清理程序删除),就会抛出 FileNotFoundException。

这属于 Ambari 脚本的鲁棒性问题,清理残留文件可临时解决。

修改页面dir 的log配置: /spark-history2 重启

hdfs dfs -rm -r /spark-history

修改页面dir 的log配置: /spark-history 重启

hdfs dfs -rm -r /spark-history2

相关推荐
小蒋观天下1 小时前
端侧大模型在安防摄像头部署实操(上)|行业痛点、架构选型、落地思路解析
大数据·人工智能·安全·计算机视觉·ai大模型
Elastic 中国社区官方博客1 小时前
使用 Lucene 搜索你的 Bean — 索引
java·大数据·数据库·elasticsearch·搜索引擎·全文检索·lucene
马六六i2 小时前
市面上正规的IP驱动产业新场景新工具有哪些
大数据·网络·python·tcp/ip
AI副业教程3 小时前
加航 Aeroplan 定向活动:加拿大—欧洲高级舱额外 SQC 资讯整理(2026 秋季)
大数据
隔振降噪研究员4 小时前
振动筛振动治理科普
大数据·人工智能
阿部多瑞 ABU4 小时前
泛二次元问题舆论战与问题诸论
大数据·人工智能·ai写作
码云数智-园园4 小时前
码云数智、小鹅通、创客匠人知识付费小程序平台对比
大数据
成长之路5145 小时前
【数据集】全国500m分辨率实际蒸散发ET数据集(tif格式)2000-2025年
大数据
通信瓦工5 小时前
高功率密度AI数据中心的Mega AALC(高级辅助液体冷却)解决方案
大数据·人工智能
代码方舟6 小时前
零信任架构实战:基于天远名下车辆车牌查询A构建自动化机动车辆资产清查网关
大数据·人工智能·架构·自动化