解决Hadoop DataNode ‘Incompatible clusterIDs‘报错

问题

启动hadoop时报错Failed to add storage directory

复制代码
2023-11-26 12:02:06,840 WARN common.Storage: Failed to add storage directory [DISK]file:xxx
java.io.IOException: Incompatible clusterIDs in xxx/dfs/data: namenode clusterID = CID-xxxxxx; datanode clusterID = CID-xxxxxxx
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:722)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:286)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:399)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:379)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:544)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1690)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1650)
         at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:376)
         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:280)
         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:816)
         at java.lang.Thread.run(Thread.java:748)
2023-11-26 12:02:06,851 ERROR datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid xxxxxxx-xxxxx-x-xxxxxxx) service to /0.0.0.0:19000. Exiting.
java.io.IOException: All specified directories have failed to load.

原因

hadoop NameNode和DataNode中VERSION 文件的clusterID不同

导致这个问题的原因是,我第二次用下述命令格式化NameNode之前,没有删除DataNode目录下的文件

bash 复制代码
hadoop namenode -format

解法

在格式化NameNode之前,需要删除<dfs.data.dir>指定的目录下的所有文件

所以这里只要删除文件后重新运行上述命令格式化即可。

参考资料1

相关推荐
大大大大晴天2 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界6 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天7 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城8 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5559 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证9 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读11 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI11 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy199011 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli12 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark