Ambari 在启动 Spark History Server 时,会通过 fast-hdfs-resource.jar 执行一系列 HDFS 资源操作,其中包括递归设置 /spark-history/ 目录权限(mode=0777)。
该操作会遍历目录下的所有文件,但当它遇到一个已经被删除的 .inprogress 文件时(可能是因为文件在遍历过程中被清理程序删除),就会抛出 FileNotFoundException。
这属于 Ambari 脚本的鲁棒性问题,清理残留文件可临时解决。
修改页面dir 的log配置: /spark-history2 重启
hdfs dfs -rm -r /spark-history
修改页面dir 的log配置: /spark-history 重启
hdfs dfs -rm -r /spark-history2