Hadoop 2.7.7 单机伪分布式安装与配置教程(JDK 8)

1. 前提准备

  • 操作系统:CentOS 7/Ubuntu等Linux
  • JDK 1.8 已安装并配置好(java -version能正常输出)
  • 普通用户或root均可(建议用普通用户,root也没问题)

2. 下载与解压

  1. 官方下载Hadoop 2.7.72

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

  1. 上传到虚拟机(如**/home/wang/soft**)
  2. 解压: tar -zxvf hadoop-2.7.7.tar.gz

3. 配置环境变量

编辑 **/**etc/profile,追加如下内容(不要覆盖原有PATH):

export JAVA_HOME=/home/wang/soft/jdk

export HADOOP_HOME=/home/wang/soft/hdfs/hadoop-2.7.7

export PATH=PATH:JAVA_HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin

保存后执行:

source **/**etc/profile

4. 修改Hadoop配置文件

4.1 配置 JAVA_HOME

编辑:

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

找到export JAVA_HOME=${JAVA_HOME}

改为

export JAVA_HOME=/home/wang/soft/jdk

(路径按实际你的JDK路径填写)

4.2 配置 core-site.xml

编辑:

vi $HADOOP_HOME/etc/hadoop/core-site.xml

在 <configuration> 标签内添加:

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

4.3 配置 hdfs-site.xml

编辑:

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

在 <configuration> 标签内添加:

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/wang/soft/hdfs/hadoop-2.7.7 /data/nameNode</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/wang/soft/hdfs/hadoop-2.7.7 /data/dataNode</value>

</property>

5. 格式化HDFS(只需第一次)

hdfs namenode -format

看到successfully formatted即成功。

6. 启动Hadoop

start-dfs.sh

如提示找不到命令,先执行source ~/.bashrc

7. 检查进程

jps

应看到 NameNode、DataNode、SecondaryNameNode 等进程。

如果没有完全显示的话就要手动开启一下

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

8. Web界面访问

9. 常用命令

  • 查看HDFS根目录:

hdfs dfs -ls /

上传文件到HDFS:

hdfs dfs -put 本地文件 /目标目录

下载文件到本地:

hdfs dfs -get /hdfs文件 本地目录

10. 常见问题与解决

  • hadoop version 报错找不到bash

→ 修复PATH,确保/bin在PATH里,或用ln -s /bin/bash /usr/bin/bash

  • JAVA_HOME未配置或配置错

→ 检查hadoop-env.sh和环境变量,必须用绝对路径

  • 端口被占用

→ 改配置文件中的端口,或释放端口

  • 权限问题

→ 确保所有Hadoop相关目录有当前用户写权限

11. 关闭Hadoop

stop-dfs.sh

12. 彻底卸载(如需重来)

rm -rf /home/wang/soft/hdfs/hadoop-2.7.7

相关推荐
wangbing112518 分钟前
springboot应用关闭时触发动作
java·spring boot·后端
weixin_460443563 小时前
2026年新修订《网络安全法》实施:Java私有化考试系统如何做好SBOM、漏洞治理与安全升级?
java·开发语言·在线考试系统·企业培训考试系统·宏远培训考试系统·国企培训考试系统·国产化培训系统
海鸥-w6 小时前
什么是AOP
java
Cc.Y7 小时前
Java零基础入门:可变字符串与包装类:StringBuilder、StringBuffer 与 通讯录管理系统实战
java·开发语言·python
paopaokaka_luck7 小时前
基于springboot+vue的智慧家政管理系统(AI问答、 WebSocket实时沟通、ECharts运营分析、订单规则与服务追踪)
java·javascript·spring boot·数据分析·echarts·mybatis
sm_926787057 小时前
RFID 标签打印的技术实现要点与二次开发实践
java·大数据·前端·c++·编辑器
阿森_dev7 小时前
2027 届毕设选题怎么选:30 个 Java 方向选题的实现难度排序
java·开发语言·spring boot·毕业设计·课程设计
Sarvartha7 小时前
Lambda 表达式和函数式接口
java·开发语言
计算机毕业设计杰瑞7 小时前
【计算机毕设精品】基于SpringBoot的一体化教务与学业质量管理系统的设计与实现,附源码_增删改查_java项目_可完美运行部署_网站项目
java·spring boot·课程设计
colinu8 小时前
C++ 异步任务与线程生命周期:`std::async`、`future`、`thread`、`jthread` 与协作式退出
java·jvm·c++