Hadoop3:HDFS-查看logs文件,排查NameNode故障原因。

问题一、NameNode进程退出

我们发现,NameNode进程不存在。

情况1、单独启动NameNode

bash 复制代码
hdfs --daemon start namenode

能够正常拉起,那就没问题

情况2、无法独立启动NameNode

先尝试启动NameNode

bash 复制代码
hdfs --daemon start namenode

发现,没能成功启动

查看日志文件

bash 复制代码
tail -n 100 hadoop-atguigu-namenode-hadoop102.log

从报错信息看,是NameNode没有格式化。

但是,我们是格式化后,才启动的集群。

具体是文件没找到:
/opt/module/hadoop-3.1.3/data/dfs/name/in_use.lock

我们去改目录查看下情况

说明,可能NameNode的数据被误删了。

解决

2nn节点上,拷贝元数据到相应目录即可。

我们,知道2nn和nn差别就在于少了一个progress文件。

进入2nn元数据目录

bash 复制代码
cd /opt/module/hadoop-3.1.3/data/dfs/namesecondary

拷贝数据

bash 复制代码
scp -r atguigu@hadoop104:/opt/module/hadoop-3.1.3/data/dfs/namesecondary/* /opt/module/hadoop-3.1.3/data/dfs/name

再次启动NameNode进程

测试删除

显示进群处于安全模式

退出安全模式

bash 复制代码
hdfs dfsadmin -safemode forceExit

就可以正常使用了。

相关推荐
K_i13438 分钟前
中国电信用户行为实时分析系统运维实战
hadoop·mysql
风跟我说过她1 小时前
Sqoop的安装与配置
hive·hadoop·经验分享·centos·hbase·sqoop
他们叫我技术总监5 小时前
外企 BI 工具选型:从合规到落地
大数据·bi
Lansonli7 小时前
大数据Spark(六十七):Transformation转换算子distinct和mapValues
大数据·分布式·spark
RunningShare7 小时前
基于Flink的AB测试系统实现:从理论到生产实践
大数据·flink·ab测试
Jolie_Liang9 小时前
保险业多模态数据融合与智能化运营架构:技术演进、应用实践与发展趋势
大数据·人工智能·架构
武子康10 小时前
大数据-118 - Flink 批处理 DataSet API 全面解析:应用场景、代码示例与优化机制
大数据·后端·flink
文火冰糖的硅基工坊10 小时前
《投资-78》价值投资者的认知升级与交易规则重构 - 架构
大数据·人工智能·重构
卡拉叽里呱啦12 小时前
Apache Iceberg介绍、原理与性能优化
大数据·数据仓库
笨蛋少年派13 小时前
大数据集群环境搭建(Ubantu)
大数据