hadoop伪分布式环境搭建详解

(操作系统是centos7)

1.更改主机名,设置与ip 的映射关系

Kotlin 复制代码
hostname //查看主机名
vim /etc/hostname //将里面的主机名更改为master
vim /etc/hosts  //将127.0.0.1后面的主机名更改为master,在后面加入一行IP地址与主机名之间的映射
reboot //重启服务器

2.关闭防火墙

Kotlin 复制代码
systemctl stop firewalld //关闭防火墙
systemctl disable firewalld //禁用防火墙服务(永久关闭)
firewall-cmd --state //查看防火墙状态

3.创建/usr/data,/usr/apps,将hadoop、jdk上传至/usr/data/

(hadoop、jdk文件链接:https://pan.baidu.com/s/1wal1CSF1oO2h4dkSbceODg 提取码:4zra)

Kotlin 复制代码
mkdir /usr/data //创建data文件
mkdir /usr/apps //创建apps文件

4.在/usr/data目录下将jdk解压到/usr/apps/

Kotlin 复制代码
 tar -zxf jdk-8u201-linux-x64.tar.gz -C /usr/apps/

5.设置jdk的环境变量

Kotlin 复制代码
[root@master apps]# cd ./jdk1.8.0_201/ 
[root@master jdk1.8.0_201]# pwd 
/usr/apps/jdk1.8.0_201  //拿到jdk的路径
[root@master jdk1.8.0_201]# 

vim 编辑/etc/profile文件

添加下列语句 (赋值时不要有空格,图中有空格)

Kotlin 复制代码
export JAVA_HOME=/usr/apps/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin

保存退出。

Kotlin 复制代码
source /etc/profile //重新加载该文件
java -version //查看jdk版本,检查环境是否设置成功

6.将Hadoop解压到apps下

Kotlin 复制代码
tar -zxvf hadoop-2.7.1.tar.gz -C /usr/apps/  //-zxvf可以打印解压的东西

7.进入Hadoop主目录下,编辑/etc/hadoop/hadoop-env.sh文件,将jdk路径导入

Kotlin 复制代码
[root@master data]# cd /usr/apps/hadoop-2.7.1/

[root@master hadoop-2.7.1]# cd /etc/hadoop

[root@master hadoop]# vim hadoop-env.sh

8.配置4个Hadoop文件

(四个文件全部在hadoop-2.7.1/etc/hadoop/目录下,vim编辑即可 )

①core-site.xml

Kotlin 复制代码
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property> 
<name>fs.defaultFS</name>
<!-- 指定了客户端访问的主机名"master",则该主机的hadoop就是namenode节点了--> <value>hdfs://master:9000</value> 
</property>
<!-- 指定hadoop运行时产生文件的存储目录,在Hadoop目录下新建一个data目录 -->  
<property> <name>hadoop.tmp.dir</name> 
<value> /usr/apps/ hadoop-2.7.1 /data</value>
</property>

②hdfs-site.xml

Kotlin 复制代码
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

③mapred-site.xml

先将mapred-site.xml.template复制到 mapred-site.xml中

再进入mapred-site.xml编辑

Kotlin 复制代码
[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vim mapred-site.xml

<!-- 指定mr运行在yarn上 --> 
<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property>

④yarn-site.xml

Kotlin 复制代码
<!-- 指定YARN的老大(ResourceManager)的地址 --> 
<property> 
<name>yarn.resourcemanager.hostname</name> 
<value>master</value> 
</property> 
<!-- reducer获取数据的方式 --> 
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property>

9.进入/etc/profile,导入Hadoop的路径

(更改/etc/profile后,需重新加载,source /etc/profile)

10.格式化namenode

Kotlin 复制代码
[root@master hadoop-2.7.1]# hadoop namenode -format

11.启动hdfs、yarn

Kotlin 复制代码
[root@master hadoop-2.7.1]# sbin/start-dfs.sh
[root@master hadoop-2.7.1]# sbin/start-yarn.sh

12.网页端即可访问主机ip,端口50070:

相关推荐
使一颗心免于哀伤5 分钟前
《设计模式之禅》笔记摘录 - 5.代理模式
笔记·设计模式
rui锐rui23 分钟前
大数据学习1:Hadoop单机版环境搭建
大数据
Fireworkitte33 分钟前
ES 压缩包安装
大数据·elasticsearch
大咖分享课1 小时前
深度剖析:Ceph分布式存储系统架构
分布式·ceph·架构·分布式存储
UI设计和前端开发从业者1 小时前
大数据时代UI前端的智能化转型之路:以数据为驱动的产品创新
大数据·前端·ui
工业甲酰苯胺2 小时前
订单初版—分布式订单系统的简要设计文档
分布式
不太可爱的叶某人9 小时前
【学习笔记】MySQL技术内幕InnoDB存储引擎——第5章 索引与算法
笔记·学习·mysql
岁岁岁平安9 小时前
Redis基础学习(五大值数据类型的常用操作命令)
数据库·redis·学习·redis list·redis hash·redis set·redis string
知识分享小能手11 小时前
Vue3 学习教程,从入门到精通,使用 VSCode 开发 Vue3 的详细指南(3)
前端·javascript·vue.js·学习·前端框架·vue·vue3
pay4fun11 小时前
2048-控制台版本
c++·学习