Linux 虚拟机安装 hadoop

超爱慢2023-08-24 9:35

目录

[1 hadoop下载](#1 hadoop下载)

[2 解压hadoop](#2 解压hadoop)

[3 为 hadoop 文件夹改名](#3 为 hadoop 文件夹改名)

[4 给 hadoop 文件夹赋权](#4 给 hadoop 文件夹赋权)

[5 修改环境变量](#5 修改环境变量)

[6 刷新环境变量](#6 刷新环境变量)

[7 在hadoop313目录下创建文件夹data](#7 在hadoop313目录下创建文件夹data)

[8 检查文件](#8 检查文件)

[9 编辑 ./core-site.xml文件](#9 编辑 ./core-site.xml文件)

[10 编辑./hadoop-env.sh文件](#10 编辑./hadoop-env.sh文件)

[11 编辑./hdfs-site.xml文件](#11 编辑./hdfs-site.xml文件)

[12 编辑./mapred-site.xml 文件](#12 编辑./mapred-site.xml 文件)

[13 编辑./yarn-site.xml文件](#13 编辑./yarn-site.xml文件)

[14 编辑./workers文件](#14 编辑./workers文件)

[15 初始化](#15 初始化)

[16 配置免密登录](#16 配置免密登录)

[17 启动和关闭hadoop](#17 启动和关闭hadoop)

[18 测试 hadoop](#18 测试 hadoop)

1 hadoop下载

hadoop3.1.3网盘资源如下：

链接:https://pan.baidu.com/s/1a2fyIUABQ0e-M8-T522BjA?pwd=2jqu 提取码: 2jqu

2 解压hadoop

解压 hadoop 压缩包到/opt/soft 目录中

复制代码 
tar -zxf ./hadoop-3.1.3.tar.gz -C /opt/soft/

查看是否已经解压到/opt/soft 目录中

复制代码 
ls /opt/soft

3 为 hadoop 文件夹改名

将hadoop-3.1.3/ 改成hadoop313

复制代码 
mv hadoop-3.1.3/ hadoop313

4 给 hadoop 文件夹赋权

复制代码 
chown -R root:root ./hadoop313/

5 修改环境变量

复制代码 
# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

6 刷新环境变量

复制代码 
source /etc/profile

7 在hadoop313目录下创建文件夹data

复制代码 
mkdir ./data

8 检查文件

查看/opt/soft/hadoop313/etc/hadoop路径下是否有如下文件

9 编辑 ./core-site.xml文件

复制代码 
vim ./core-site.xml

在<configuration></configuration> 中添加如下内容

注意自己的 hostname 是否一致，还有是否做了域名映射

域名映射可以参考Linux安装配置Oracle+plsql安装配置（详细）_sqlplus 安装_超爱慢的博客-CSDN博客

前几步骤

复制代码 
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://kb129:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/soft/hadoop313/data</value>
    </property>
    <property>
      <name>hadoop.http.staticuser.user</name>
      <value>root</value>
    </property>
    <property>
      <name>io.file.buffer.size</name>
      <value>131073</value>
    </property>
    <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
    </property>

10 编辑./hadoop-env.sh文件

找到被注释的export JAVA_HOME或者直接重新写一个

注意自己的 JAVA_HOME 路径是否与本文一致

复制代码 
vim ./hadoop-env.sh

export JAVA_HOME=/opt/soft/jdk180

11 编辑./hdfs-site.xml文件

复制代码 
vim ./hdfs-site.xml

在<configuration></configuration> 中添加如下内容

复制代码 
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/opt/soft/hadoop313/data/dfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/opt/soft/hadoop313/data/dfs/data</value>
    </property>
    <property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
    </property>

12 编辑./mapred-site.xml 文件

复制代码 
vim ./mapred-site.xml

在<configuration></configuration> 中添加如下内容

注意自己的主机名

复制代码 
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
    <property>
      <name>mapreduce.jobhistory.address</name>
      <value>kb129:10020</value>
    </property>
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>kb129:19888</value>
    </property>
    <property>
      <name>mapreduce.map.memory.mb</name>
      <value>4096</value>
    </property>
    <property>
      <name>mapreduce.reduce.memory.mb</name>
      <value>4096</value>
    </property>
    <property>
      <name>mapreduce.application.classpath</name>
      <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/had    oop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/    share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/op    t/soft/hadoop313/share/hadoop/yarn/lib/*</value>
    </property>

13 编辑./yarn-site.xml文件

复制代码 
vim ./yarn-site.xml

在<configuration></configuration> 中添加如下内容

注意自己的主机名(hostname)是否一致

复制代码 
    <property>
      <name>yarn.resourcemanager.connect.retry-interval.ms</name>
      <value>20000</value>
    </property>
    <property>
      <name>yarn.resourcemanager.scheduler.class</name>
      <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
      <name>yarn.nodemanager.localizer.address</name>
      <value>kb129:8040</value>
    </property>
    <property>
      <name>yarn.nodemanager.address</name>
      <value>kb129:8050</value>
    </property>
    <property>
      <name>yarn.nodemanager.webapp.address</name>
      <value>kb129:8042</value>
    </property>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
  
    <property>
      <name>yarn.nodemanager.local-dirs</name>
      <value>/opt/soft/hadoop313/yarndata/yarn</value>
    </property>
  
    <property>
      <name>yarn.nodemanager.log-dirs</name>
      <value>/opt/soft/hadoop313/yarndata/log</value>
    </property>
  
  
    <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
    </property>

14 编辑./workers文件

复制代码 
vim ./workers

将里面的内容替换成你的主机名（hostname）

如：

复制代码 
kb129

15 初始化

复制代码 
hadoop namenode -format

看到下面内容即为成功初始化

16 配置免密登录

返回家目录

复制代码 
ssh-keygen -t rsa -P ""

回车后再回车

会出现以下画面

查看是否有.ssh文件

复制代码 
ll -a

配置免密登录

复制代码 
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

测试免密登录(ssh连接自己）

复制代码 
ssh -p 22 root@kb159

如果不用输密码就算配置成功

第一次连接会有输入 yes 或 no 的选择

以后连接不会有这样的提示会直接连接成功

连接成功后返回本机输入 exit 回车

17 启动和关闭hadoop

启动 hadoop

复制代码 
start-all.sh

关闭 hadoop

复制代码 
stop-all.sh

18 测试 hadoop

输入 jps 会出现以下六个信息

在浏览器输入网址http://192.168.153.129:9870/ 可出现页面（注意替换自己的 IP 地址）

再或者查看 hadoop 版本

复制代码 
hadoop version
相关推荐
甲鱼92927 分钟前
MySQL 实战手记：日志管理与主从复制搭建全指南
运维
Johny_Zhao15 小时前
OpenClaw安装部署教程
linux·人工智能·ai·云计算·系统运维·openclaw
YuMiao1 天前
gstatic连接问题导致Google Gemini / Studio页面乱码或图标缺失问题
服务器·网络协议
chlk1232 天前
Linux文件权限完全图解：读懂 ls -l 和 chmod 755 背后的秘密
linux·操作系统
舒一笑2 天前
Ubuntu系统安装CodeX出现问题
linux·后端
改一下配置文件2 天前
Ubuntu24.04安装NVIDIA驱动完整指南（含Secure Boot解决方案）
linux
碳基沙盒2 天前
OpenClaw 多 Agent 配置实战指南
运维
深紫色的三北六号3 天前
Linux 服务器磁盘扩容与目录迁移：rsync + bind mount 实现服务无感迁移（无需修改配置）
linux·扩容·服务迁移
SudosuBash3 天前
[CS:APP 3e] 关于对 第 12 章 读/写者的一点思考和题解 (作业 12.19,12.20,12.21)
linux·并发·操作系统(os)
哈基咪怎么可能是AI3 天前
为什么我就想要「线性历史 + Signed Commits」GitHub 却把我当猴耍 🤬🎙️
linux·github
热门推荐
01GitHub 镜像站点02OpenClaw 使用和管理 MCP 完全指南03OpenClaw + 飞书（Feishu）环境搭建指南04OpenClaw优化飞书API 额度已耗尽问题05Claude Code + GLM4.7 避坑指南：解决 Unable to connect to Anthropic services06Clawdbot部署教程：解决‘gateway token missing’授权问题的完整步骤07Window 10部署openclaw报错node.exe : npm error code 12808小黑课堂计算机二级WPSoffice题库软件下载安装教程（2026年3月最新版）09OpenClaw大龙虾机器人完整安装教程10网站改了域名，如何查找？