解决Hadoop DataNode ‘Incompatible clusterIDs‘报错

问题

启动hadoop时报错Failed to add storage directory

复制代码
2023-11-26 12:02:06,840 WARN common.Storage: Failed to add storage directory [DISK]file:xxx
java.io.IOException: Incompatible clusterIDs in xxx/dfs/data: namenode clusterID = CID-xxxxxx; datanode clusterID = CID-xxxxxxx
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:722)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:286)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:399)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:379)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:544)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1690)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1650)
         at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:376)
         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:280)
         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:816)
         at java.lang.Thread.run(Thread.java:748)
2023-11-26 12:02:06,851 ERROR datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid xxxxxxx-xxxxx-x-xxxxxxx) service to /0.0.0.0:19000. Exiting.
java.io.IOException: All specified directories have failed to load.

原因

hadoop NameNodeDataNodeVERSION 文件的clusterID不同

导致这个问题的原因是,我第二次用下述命令格式化NameNode之前,没有删除DataNode目录下的文件

bash 复制代码
hadoop namenode -format

解法

在格式化NameNode之前,需要删除<dfs.data.dir>指定的目录下的所有文件

所以这里只要删除文件后重新运行上述命令格式化即可。

参考资料1

相关推荐
KIDAKN21 分钟前
RabbitMQ 初步认识
分布式·rabbitmq
pan30350747926 分钟前
Kafka 和 RabbitMQ的选择
分布式·kafka·rabbitmq
打码人的日常分享2 小时前
运维服务方案,运维巡检方案,运维安全保障方案文件
大数据·运维·安全·word·安全架构
hzulwy3 小时前
Kafka基础理论
分布式·kafka
半夏陌离4 小时前
SQL 拓展指南:不同数据库差异对比(MySQL/Oracle/SQL Server 基础区别)
大数据·数据库·sql·mysql·oracle·数据库架构
howard20054 小时前
VMWare上搭建Hive集群
hive·hadoop
aristo_boyunv4 小时前
拦截器和过滤器(理论+实操)
java·数据仓库·hadoop·servlet
明达智控技术4 小时前
MR30分布式IO在全自动中药煎药机中的应用
分布式·物联网·自动化
jakeswang5 小时前
细说分布式ID
分布式
失散136 小时前
分布式专题——1.2 Redis7核心数据结构
java·数据结构·redis·分布式·架构