解决Hadoop DataNode ‘Incompatible clusterIDs‘报错

问题

启动hadoop时报错Failed to add storage directory

复制代码
2023-11-26 12:02:06,840 WARN common.Storage: Failed to add storage directory [DISK]file:xxx
java.io.IOException: Incompatible clusterIDs in xxx/dfs/data: namenode clusterID = CID-xxxxxx; datanode clusterID = CID-xxxxxxx
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:722)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:286)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:399)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:379)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:544)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1690)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1650)
         at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:376)
         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:280)
         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:816)
         at java.lang.Thread.run(Thread.java:748)
2023-11-26 12:02:06,851 ERROR datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid xxxxxxx-xxxxx-x-xxxxxxx) service to /0.0.0.0:19000. Exiting.
java.io.IOException: All specified directories have failed to load.

原因

hadoop NameNodeDataNodeVERSION 文件的clusterID不同

导致这个问题的原因是,我第二次用下述命令格式化NameNode之前,没有删除DataNode目录下的文件

bash 复制代码
hadoop namenode -format

解法

在格式化NameNode之前,需要删除<dfs.data.dir>指定的目录下的所有文件

所以这里只要删除文件后重新运行上述命令格式化即可。

参考资料1

相关推荐
liulilittle1 小时前
C++ TAP(基于任务的异步编程模式)
服务器·开发语言·网络·c++·分布式·任务·tap
码字的字节1 小时前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
武子康3 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
数据与人工智能律师6 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle8 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
itLaity8 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
qq_529835358 小时前
Zookeeper的简单了解
分布式·zookeeper·云原生
weixin_lynhgworld9 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
smileNicky9 小时前
RabbitMQ有多少种Exchange?
分布式·rabbitmq
你我约定有三10 小时前
RabbitMQ--消息丢失问题及解决
java·开发语言·分布式·后端·rabbitmq·ruby