Hadoop——Hadoop单机搭建问题汇总

1、org.apache.hadoop.security.AccessControlException: Permission denied: user=root...

解决方法:关闭Hadoop,在hdfs-site.xml文件中添加:

XML 复制代码
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

然后重新格式化:hdfs namenode -format,每次格式化时最好把datanode、namenode和tmp目录下的文件删掉,避免出现一些ClusterId之类的问题

最后重启Hadoop

2、org.apache.hadoop.ipc.RemoteException(java.io.IOException): File...

hadoop namenode -format格式化时格式化了多次造成ClusterId不一致等问题

解决方法:关闭Hadoop -> 把datanode、namenode和tmp目录下的文件删掉 -> 重新格式化 -> 重启Hadoop

3、Windows环境下Hadoop启动错误"系统找不到指定的批标签 - resourcemanager"

文件编码问题。

使用Notepad++, 对相关的*.cmd文件(这里是yarn.cmd)做如下操作 Edit(编辑) -> EOL Conversion(文档格式转换) -> Windows Format(转为Windows),保存并在hadoop的sbin目录下重新管理员运行start-all.cmd,可以看到resourcemanager成功运行。

4、java.net.BindException: Problem binding to localhost:9000 java.net.BindException: Address already in use...

意思是端口被占用,解决方法:

  • 使用命令:netstat -ano |findstr "post_number"查看端口是否被占用
  • 如果被占用,使用tastkill /f /t /im 进程。以java.exe为例:tastkill /f /t /im java.exe
  • 如果未被占用,去查四个配置文件,看是否存在不同参数配置的端口一样。如果一样就将其改成不同端口。

5、org.apache.hadoop.io.nativeio.NativeIO$Windows...

bin文件是否已替代或hadoop.dll是否复杂到C:\Windows\System32下

请看解决方案的【3、替换和转移】

相关推荐
wuyk5556 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界10 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)11 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
国科安芯13 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
字节跳动数据平台14 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统16 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天1 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata1 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售