基于docker desktop的hadoop集群结点启动失败问题

hadoop部署完成各结点可启动:

但是访问webui端口显示alive结点为0个:

查看日志:

复制代码
docker logs hadoop-datanode-1

这意味着Datanode之前已经格式化并生成了一个集群ID,而Namenode有另一个集群ID。在Hadoop中,Datanode必须与Namenode具有相同的集群ID才能加入集群。

解决此问题的方法通常是删除Datanode的数据目录并重新启动Datanode,这样它就会从Namenode获取新的集群ID。但是,请注意,这将删除Datanode上的所有数据。

复制代码
# 进入datanode容器(使用hadoop-datanode-1容器名)
docker exec -it hadoop-datanode-1 bash

# 删除数据目录(根据日志路径)
rm -rf /tmp/hadoop-hadoop/dfs/data

# 退出容器
exit

# 重启datanode容器
docker restart hadoop-datanode-1

启动成功

相关推荐
卷毛迷你猪3 天前
快速实验篇(A11)数据集成与多维分析:从单实验产出到跨实验宽表
hive·hadoop
分布式存储与RustFS3 天前
MinIO 官方 Docker 镜像被移除:依赖它的项目该怎么办
docker·云原生·devops·对象存储·minio·分布式存储
玉&心3 天前
通过Arthas在线诊断K8S中的内存及JVM等使用情况
docker·k8s·arthas
xing-xing3 天前
Docker容器中Nginx站点根目录网页配置访问
nginx·docker
guo_wen_qiang3 天前
上传本地镜像到harbor中
docker·容器·持续部署
羑悻的小杀马特3 天前
Dockerfile 全景指南:从入门编写dockerfile到生产环境镜像优化实战,一步步带你从啃透制作指令到镜像制作落地!
docker·dockerfile·镜像制作
BianHuanShiZhe3 天前
docker常见命令
docker
正经教主3 天前
【FDE系列】阶段2:Day 43:Docker Compose — 多容器一键编排
人工智能·docker·fde
忆~遂愿3 天前
本地片库怎么在外面打开?Plex + cpolar 搭一套可远程访问的私人影音库
docker·容器
Zhu7583 天前
docker环境,vLLM 部署 Qwen3.8-27B
docker·qwen·vllm