Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法

文章目录

安全模式相关命令

shell 复制代码
# 查看安全模式状态
hdfs dfsadmin -safemode get

# 进入安全模式
hdfs dfsadmin -safemode enter

# 离开安全模式
hdfs dfsadmin -safemode leave

# 强制退出安全模式
hdfs dfsadmin -safemode forceExit

# 等待安全模式
hdfs dfsadmin -safemode wait

等待安全模式,通常情况下在脚本中使用,当集群退出安全模式后,立马执行相关操作。

分析集群为什么一直处于安全模式

集群启动后,发现一直处于安全模式中,进入 WEB 界面查看,还有一大段提示,如下:

系统报告称,共有 6288 个数据块,还需要额外的 16 个数据块才能达到总共 6311 个数据块的阈值 0.999

通俗来说就是,当前系统中元数据与记录数据块前后不一致,而 Hadoop 默认要求最大的误差阀值为 0.001,如果超过这个值,就会导致 Hadoop 一直处于安全模式。

也就是说,我们其实已经实际删除了某些数据块,但是记录的元数据因为一些故障导致没有进行同步,就会出现这种情况。

解决方法

首先强制退出安全模式:

shell 复制代码
hdfs dfsadmin -safemode forceExit

接着,我们进入 WEB 管理界面,刷新一下。

此时,我们就会发现那些数据块丢失的文件,将这些文件按照路径在 HDFS 中全部删除即可。

如果你想要对文件进行恢复,那么则需要请教相关专业人士,使用磁盘修复工具进行处理。

删除完成后,我们重启集群,进入 WEB 界面查看是否正常:

如果删除过程中遇到报错,如下所示:

Permission denied: user=master, access=WRITE, inode="/benchmarks/TestDFSIO":root:supergroup:drwxr-xr-x

权限不足,无法进行写操作。

我们需要先使用 root 账号对操作目录授权,或者直接关闭 HDFS 权限验证。

方法一

shell 复制代码
# 使用 `root` 账号对操作目录授权
hdfs dfs -chmod -R 777 /benchmarks/TestDFSIO

方法二

不建议,会影响集群安全。

shell 复制代码
# 直接关闭 HDFS 权限验证,在 hdfs-site.xml 文件中添加如下配置:
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

添加完成后,分发同步该文件,重启集群后生效。

相关推荐
鸿乃江边鸟23 分钟前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂1 小时前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
java水泥工1 小时前
基于Echarts+HTML5可视化数据大屏展示-白茶大数据溯源平台V2
大数据·echarts·html5
Devil枫2 小时前
鸿蒙深链落地实战:从安全解析到异常兜底的全链路设计
安全·华为·harmonyos
广州腾科助你拿下华为认证3 小时前
华为考试:HCIE数通考试难度分析
大数据·华为
在未来等你5 小时前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB8 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag6720139 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
lubiii_9 小时前
网络安全渗透测试第一步信息收集
安全·web安全·网络安全
计算机编程小央姐10 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物