Hadoop分布式安装

首先准备好三台服务器或者虚拟机,我本机安装了三个虚拟机,安装虚拟机的步骤参考我之前的一篇

virtualBox虚拟机安装多个+主机访问虚拟机+虚拟机访问外网配置-CSDN博客


jdk安装

参考文档:Linux 环境下安装JDK1.8并配置环境变量_linux安装jdk1.8并配置环境变量_Xi-Yuan的博客-CSDN博客

一台机器配置完成jdk之后,我们将已经解压完成的jdk分发到另外两台虚拟机上

我们的hosts中ip和域名没有映射

或者通过ip分发,不用配置域名映射了

scp -r /usr/java/jdk1.8.0_391 192.168.137.16:/usr/java

hosts配置,点击多屏同时编辑

vi /etc/hosts

scp -r /usr/java/jdk1.8.0_391 hadoop02:/usr/java

分发完成之后记得其它两台机器的java配置一下

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_391

export PATH=PATH:JAVA_HOME/bin

source /etc/profile
hadoop包提前下载好,官网的下载速度实在太慢,我的下载地址如下:

We Transfer Gratuit. Envoi sécurisé de gros fichiers. (swisstransfer.com)

解压缩到/usr目录下

tar -zxvf hadoop-2.9.2.tar.gz -C /usr

hadoop配置工作

cd /usr/hadoop-2.9.2/etc/hadoop

vi hadoop-env.sh

更改如下配置

JAVA_HOME=/usr/java/jdk1.8.0_391

vi core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop-2.9.2/tmp</value>

</property>

vi hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.permissions</name>

<value>true</value>

</property>

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

vi yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

<property>

<name>yarn.nodemanager.aux-service</name>

<value>mapreduce_shuffle</value>

</property>

vi slaves

删除已有的localhost

添加从节点域名

hadoop02

hadoop03

将hadoop01虚拟机上hadoop的文件分发到其它两台虚拟机

scp -r /usr/hadoop-2.9.2 hadoop02:/usr

scp -r /usr/hadoop-2.9.2 hadoop03:/usr

hadoop启动

#HADDOOP_HOME配置

source /ect/profile

#初始化

hdfs namenode -format

#一键启动之前配置好免密登录功能,否则启动和停止时需要n次输入密码

cd /root

ssh-keygen

遇到需要输入的直接回车即可

#查看.ssh目录是否已经生成

第一台机器有known_hosts,因为我们之前在第一台虚拟机上scp -r分发过文件给其他两台机器,所以建立过ssh连接,查看known_hosts

现在还没有应用出去

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

#一键启动,只在hadoop01机器上一键启动即可

#jps查看已经启动起来的服务

至此hadoop分布式搭建完成
hadoop集群的web端访问

#关闭防火墙

查看当前防火墙状态:systemctl status firewalld

临时关闭防火墙:systemctl stop firewalld

永久关闭防火墙:systemctl disable firewalld

#HDFS web页面访问

第一台虚拟机ip

http://192.168.137.16:50070/

可以看到其他两个节点

yarn集群web页面

http://192.168.137.16:8088/

相关推荐
魔珐科技2 分钟前
以3D数字人AI产品赋能教育培训人才发展,魔珐科技亮相AI+教育创新与人才发展大会
大数据·人工智能
上优1 小时前
uniapp 选择 省市区 省市 以及 回显
大数据·elasticsearch·uni-app
samLi06202 小时前
【更新】中国省级产业集聚测算数据及协调集聚指数数据(2000-2022年)
大数据
Mephisto.java2 小时前
【大数据学习 | Spark-Core】Spark提交及运行流程
大数据·学习·spark
EasyCVR3 小时前
私有化部署视频平台EasyCVR宇视设备视频平台如何构建视频联网平台及升级视频转码业务?
大数据·网络·音视频·h.265
hummhumm3 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
科技象限4 小时前
电脑禁用U盘的四种简单方法(电脑怎么阻止u盘使用)
大数据·网络·电脑
天冬忘忧4 小时前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
青云交5 小时前
大数据新视界 -- Hive 数据仓库:构建高效数据存储的基石(下)(2/ 30)
大数据·数据仓库·hive·数据安全·数据分区·数据桶·大数据存储
zmd-zk5 小时前
flink学习(2)——wordcount案例
大数据·开发语言·学习·flink