spark History Server 重启失败

Ambari 在启动 Spark History Server 时,会通过 fast-hdfs-resource.jar 执行一系列 HDFS 资源操作,其中包括递归设置 /spark-history/ 目录权限(mode=0777)。

该操作会遍历目录下的所有文件,但当它遇到一个已经被删除的 .inprogress 文件时(可能是因为文件在遍历过程中被清理程序删除),就会抛出 FileNotFoundException。

这属于 Ambari 脚本的鲁棒性问题,清理残留文件可临时解决。

修改页面dir 的log配置: /spark-history2 重启

hdfs dfs -rm -r /spark-history

修改页面dir 的log配置: /spark-history 重启

hdfs dfs -rm -r /spark-history2

相关推荐
名不经传的养虾人3 小时前
从0到1:企业级AI项目迭代日记 Vol.82|审批不再只写数据库,而是真正恢复执行
大数据·人工智能·ai编程·企业ai·多agent协作
Wise_Heart4 小时前
研发管理从“人治“到“数治“,全星APQP深度测评
大数据
laboratory agent开发4 小时前
深耕数字化赛道,解析不同定位的小程序公司发展与能力
大数据
2601_949499945 小时前
芯瑞科技 DT-1414 光模块工程实测:完美兼容博通(安华高) HFBR-1414PTZ,VCSEL 替代方案
大数据·网络·人工智能·科技·光模块
Databend5 小时前
从万亿级大模型到全线应用:Databend Cloud 助力头部 AI 企业构建全链路 Trace 数据管道
大数据·数据库·sql
Elastic 中国社区官方博客6 小时前
使用 Elasticsearch open inference API 对 OpenAI chat completions 进行支持
大数据·elasticsearch·搜索引擎·全文检索·jenkins
xfan_me6 小时前
全国今日油价 API-油价查询-油价查询接口
大数据·人工智能·信息可视化
大任视点7 小时前
武林问道承古韵 形意寻根铸武魂 纪录片《武林问道•形意寻根》山西溯源拍摄完成
大数据·业界资讯
科里 Coralyx7 小时前
评测凭什么成为模型护城河:Agent评测的跨厂机制分析
大数据·人工智能·ai