Hadoop——Hadoop单机搭建问题汇总

1、org.apache.hadoop.security.AccessControlException: Permission denied: user=root...

解决方法:关闭Hadoop,在hdfs-site.xml文件中添加:

XML 复制代码
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

然后重新格式化:hdfs namenode -format,每次格式化时最好把datanode、namenode和tmp目录下的文件删掉,避免出现一些ClusterId之类的问题

最后重启Hadoop

2、org.apache.hadoop.ipc.RemoteException(java.io.IOException): File...

hadoop namenode -format格式化时格式化了多次造成ClusterId不一致等问题

解决方法:关闭Hadoop -> 把datanode、namenode和tmp目录下的文件删掉 -> 重新格式化 -> 重启Hadoop

3、Windows环境下Hadoop启动错误"系统找不到指定的批标签 - resourcemanager"

文件编码问题。

使用Notepad++, 对相关的*.cmd文件(这里是yarn.cmd)做如下操作 Edit(编辑) -> EOL Conversion(文档格式转换) -> Windows Format(转为Windows),保存并在hadoop的sbin目录下重新管理员运行start-all.cmd,可以看到resourcemanager成功运行。

4、java.net.BindException: Problem binding to [localhost:9000] java.net.BindException: Address already in use...

意思是端口被占用,解决方法:

  • 使用命令:netstat -ano |findstr "post_number"查看端口是否被占用
  • 如果被占用,使用tastkill /f /t /im 进程。以java.exe为例:tastkill /f /t /im java.exe
  • 如果未被占用,去查四个配置文件,看是否存在不同参数配置的端口一样。如果一样就将其改成不同端口。

5、org.apache.hadoop.io.nativeio.NativeIO$Windows...

bin文件是否已替代或hadoop.dll是否复杂到C:\Windows\System32下

请看解决方案的【3、替换和转移】

相关推荐
测试界的酸菜鱼13 分钟前
Python 大数据展示屏实例
大数据·开发语言·python
时差95315 分钟前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
Mephisto.java17 分钟前
【大数据学习 | kafka高级部分】kafka中的选举机制
大数据·学习·kafka
苍老流年17 分钟前
Hive中各种Join的实现
数据仓库·hive·hadoop
Mephisto.java23 分钟前
【大数据学习 | kafka高级部分】kafka的优化参数整理
大数据·sql·oracle·kafka·json·database
道可云25 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
成都古河云36 分钟前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
软工菜鸡43 分钟前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert
EDG Zmjjkk2 小时前
Hive 查询(详细实操版)
数据仓库·hive·hadoop
武子康2 小时前
大数据-212 数据挖掘 机器学习理论 - 无监督学习算法 KMeans 基本原理 簇内误差平方和
大数据·人工智能·学习·算法·机器学习·数据挖掘