spark History Server 重启失败

Ambari 在启动 Spark History Server 时,会通过 fast-hdfs-resource.jar 执行一系列 HDFS 资源操作,其中包括递归设置 /spark-history/ 目录权限(mode=0777)。

该操作会遍历目录下的所有文件,但当它遇到一个已经被删除的 .inprogress 文件时(可能是因为文件在遍历过程中被清理程序删除),就会抛出 FileNotFoundException。

这属于 Ambari 脚本的鲁棒性问题,清理残留文件可临时解决。

修改页面dir 的log配置: /spark-history2 重启

hdfs dfs -rm -r /spark-history

修改页面dir 的log配置: /spark-history 重启

hdfs dfs -rm -r /spark-history2

相关推荐
jameslogo3 分钟前
RocketMQ与Kafka零拷贝机制
分布式·kafka·rocketmq
fan65404147 分钟前
全栈自研GEO系统的技术架构与算法快速适配实践——以文澜天下科技为例
大数据·科技·架构
5008419 分钟前
GE 怎么做算子融合
分布式·架构·开源·wpf
zhojiew1 小时前
部署DataHub并导入Glue元数据以集成DBT和Spark ETL任务中数据血缘的实践
大数据·spark·etl
金融RPA机器人丨实在智能2 小时前
物流行业选自动化方案,如何评估与现有系统的集成难度?深度解析2026集成避坑指南
大数据·运维·人工智能·自动化
一切皆是因缘际会2 小时前
AI 从 “模仿智能” 到 “重构世界” 的范式跃迁
大数据·人工智能·深度学习·重构·架构
专注API从业者2 小时前
用 Open Claw + 淘宝商品接口,快速实现电商商品监控与智能选品(附完整代码)
大数据·前端·数据结构·数据库
Are_You_Okkk_2 小时前
无需配环境、不受设备限!MonkeyCode重新定义研发
大数据·人工智能·开源·团队开发·ai编程
kyraaa12 小时前
618智能灭蚊器什么牌子好?电灭蚊灯哪个牌子好用?综合测评希亦、绳池等10大热门灭蚊灯品牌!
大数据·人工智能·python
IT飞牛2 小时前
Elasticsearch 技术调研与实践
大数据·elasticsearch·搜索引擎