hadoop分布式中某个 节点报错的解决案例

前言

在分布式节点中,发现有个节点显示不可用状态,因此需要紧急修复。

hadoop版本

目前这套集群hadoop的版本如下:

集群报错详细日志:

1/1 local-dirs are bad: /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas/nm-local-dir; 1/1 log-dirs are b

报错分析

通过分析发现,应该是这个节点的磁盘空间满了。

这条错误信息指出 Hadoop 集群的 NodeManager 无法写入其配置的本地目录和日志目录。这通常发生在 Hadoop 集群启动时,NodeManager 尝试初始化时。错误的原因是指定的本地目录 (`local-dirs`) 和日志目录 (`log-dirs`) 不可用或不可写。

可能的原因包括:

  1. **目录不存在**:配置的路径可能不存在。

  2. **权限问题**:运行 Hadoop 的用户可能没有权限写入这些目录。

  3. **磁盘空间不足**:指定的磁盘可能已满。

  4. **SELinux 策略**:如果你的系统使用 SELinux,可能需要调整安全上下文。

  5. **目录损坏**:文件系统损坏或目录结构损坏。

解决步骤:

  1. **检查目录是否存在**:

```sh

ls -ld /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas/nm-local-dir

ls -ld /kkb/install/hadoop-2.6.0-cdh5.14.2/logs/userlogs

```

  1. **创建缺失的目录**:

如果目录不存在,你需要手动创建它们:

```sh

mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas/nm-local-dir

mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/logs/userlogs

```

  1. **检查权限**:

确保运行 Hadoop 的用户(例如 `hadoop` 用户)对这些目录具有写权限:

```sh

chown -R hadoop:hadoop /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas/

chown -R hadoop:hadoop /kkb/install/hadoop-2.6.0-cdh5.14.2/logs/

```

  1. **检查磁盘空间**:

使用 `df -h` 检查磁盘空间是否已满。

  1. **调整 SELinux**:

如果你的系统使用 SELinux,可能需要调整策略或更改目录的安全上下文:

```sh

chcon -R -t hadoop_var_lib_t /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas/

chcon -R -t hadoop_log_t /kkb/install/hadoop-2.6.0-cdh5.14.2/logs/

```

  1. **检查 Hadoop 配置**:

确保 `hdfs-site.xml` 和 `core-site.xml` 中配置的本地目录和日志目录路径正确无误。

  1. **格式化 NameNode(如果必要)**:

如果 NameNode 损坏,可能需要格式化。但这将删除所有 HDFS 数据,因此只有在安全模式或测试环境中才考虑执行此操作。

  1. **重启 Hadoop 服务**:

在解决了目录问题后,尝试重启 Hadoop 服务,特别是 NodeManager。

  1. **查看日志文件**:

检查 Hadoop 的日志文件,特别是 `hadoop-*.log` 文件,以获取更多错误信息。

  1. **联系管理员**:

如果你没有足够的权限或不熟悉系统,联系系统管理员来帮助解决问题。

请在进行任何重要更改之前备份重要数据,并确保你具有足够的系统管理知识或获得专业帮助。

通过50070端口进去发现确实是因为节点01的空间即将耗尽。

相关推荐
SeaTunnel6 分钟前
(八)收官篇 | 数据平台最后一公里:数据集成开发设计与上线治理实战
java·大数据·开发语言·白鲸开源
IT研究所2 小时前
AI 时代下的知识管理:从 Claude 的“复盘”能力看生成式 AI价值
大数据·运维·数据库·人工智能·科技·低代码·自然语言处理
云边云科技_云网融合3 小时前
企业出海的 “数字丝绸之路“:SD-WAN 如何重构全球网络竞争力
大数据·运维·网络·人工智能
JZC_xiaozhong3 小时前
2026年深圳企业如何统一管理ERP、MES、OA权限?身份识别与访问管理高效方案
大数据·运维·自动化·企业数据安全·数据集成与应用集成·权限治理·多系统权限管理
189228048614 小时前
NV243美光MT29F32T08GWLBHD6-24QJES:B
大数据·服务器·人工智能·科技·缓存
2601_958548484 小时前
利川避暑民宿舒适化运营:客流增长策略深度解析
大数据
明明跟你说过4 小时前
Kafka 与 Elasticsearch 的集成应用案例深度解析
大数据·elk·elasticsearch·kafka·big data·bigdata
拾-光4 小时前
【Git】命令大全:从入门到高手,100 个最常用命令速查(2026 版)
java·大数据·人工智能·git·python·elasticsearch·设计模式
2301_816997884 小时前
性能调优(基于 Elasticsearch 8.x)
大数据·elasticsearch·搜索引擎
易知微EasyV数据可视化5 小时前
数序重构・智启新生|袋鼠云发布Data+AI智能飞轮战略,2026春季发布会圆满落幕
大数据·人工智能·经验分享·数字孪生·空间智能