centos7安装hadoop3(下)

一、克隆虚拟机

1、将虚拟机master关机

2、克隆,选择完整克隆

克隆2次,分别保存为slave1,slave2

二、修改克隆后的虚拟机salve1

1、修改slave1的ifcfg-ens33文件的IPADDR

bash 复制代码
IPADDR=192.168.128.131

2、重启网络服务和查看IP地址

bash 复制代码
# 重启网络服务
systemctl restart network
# 查看IP地址
ip addr

3、修改slave1的主机名称

bash 复制代码
hostnamectl set-hostname slave1

4、重启

bash 复制代码
reboot

三、对slave2主机做二中的操作

四、主机互信配置

1、在master主机中执行,并一路回车

bash 复制代码
ssh-keygen -t rsa 

2、复制公钥到其他主机

bash 复制代码
# 每执行一次"ssh-copy-id"命令,都需依次输入yes,123456(root用户的密码)
ssh-copy-id -i /root/.ssh/id_rsa.pub master
ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2

3、验证

在master主机执行ssh登录操作,成功后可以执行exit,再执行下一个

bash 复制代码
ssh slave1
ssh slave2

五、配置时钟同步服务

1、master主机上执行vim /etc/ntp.conf,内容如下

bash 复制代码
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

然后执行

bash 复制代码
systemctl start ntpd
systemctl enable ntpd

2、slave1,slave2上执行vim /etc/ntp.conf,内容如下

bash 复制代码
server master

然后执行

bash 复制代码
systemctl start ntpd
systemctl enable ntpd

六、启动Hadoop集群

1、配置hadoop环境变量

bash 复制代码
vim /etc/profile
bash 复制代码
# 在文件最后加下面的配置
export HADOOP_HOME=/usr/local/hadoop-3.3.6
export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64
export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME/bin

然后,执行下面命令使其生效,master slave1 slave2均做此操作

bash 复制代码
source /etc/profile

2、格式化hadoop

在master主机上执行

bash 复制代码
hdfs namenode -format

3、启动hdfs和yarn

bash 复制代码
sbin/start-dfs.sh

sbin/start-yarn.sh

七、验证

浏览器打开hdfs和yarn的监控地址

如果想用域名访问地址,可以配置C:\Windows\System32\drivers\etc\hosts,内容如下

bash 复制代码
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com

HDFS监控页面

YARN监控页面

相关推荐
Nefu_lyh1 天前
【Hive】七、Hive 函数:聚合 / 统计 / 分位数 / 集合 / 高级分组
数据仓库·hive·hadoop
阿 才1 天前
跟文件系统(busybox)的构建
大数据·hadoop·分布式
KANGBboy1 天前
hive UDF函数
数据仓库·hive·hadoop
暴躁小师兄数据学院2 天前
【AI大数据工程师特训笔记】第15讲:大数据环境安装
大数据·hadoop·flink·spark
王小王-1232 天前
基于 Hadoop + Flask 的电动汽车数据分析与可视化系统设计与实现
hadoop·数据分析·flask·电动汽车·新能源汽车数据分析·新能源汽车销量分析·新能源汽车销售分析
王小王-1232 天前
基于机器学习与Hadoop的心脏病数据分析与可视化设计与实现
hadoop·机器学习·数据分析·心脏病预测
知识分享小能手2 天前
Hadoop学习教程,从入门到精通, Hadoop 3.x 高可用集群 — 知识点详解(6)
大数据·hadoop·学习
知识分享小能手3 天前
Hadoop学习教程,从入门到精通, ZooKeeper 分布式协调服务 — 全面知识点与案例代码(5)
hadoop·分布式·zookeeper
知识分享小能手4 天前
Hadoop学习教程,从入门到精通, MapReduce分布式计算框架 — 完整知识点与代码案例(4)
hadoop·学习·mapreduce
白日与明月4 天前
Hive子查询中的ORDER BY陷阱:为什么排序“消失”了?
数据仓库·hive·hadoop