Ubuntu下部署Hadoop集群+Hive（二）

岩屿2024-08-24 18:37

Hadoop集群搭建

准备环境

hadoop-3.3.6.tar.gz，jdk-8u421-linux-x64.tar.gz

根据自己的使用下载对的hadoop和jdk版本

hadoop下载地址：Apache Hadoop

在3台服务器上的/opt/目录下新建module和software文件夹，其中software文件夹用来存放软件包，module用来存放解压后的安装文件；

bash 复制代码

root@hadoopMaster:/opt# mkdir software
root@hadoopMaster:/opt# mkdir module

接下来就是Hadoop集群环境的部署：

这篇文章对应的课程是23_尚硅谷_Hadoop_入门_克隆三台虚拟机_哔哩哔哩_bilibili，其中的23节到34节教程，讲的比较详细，建议先快速过一下相关章节课程，然后对照来安装，基本没有问题；

其中，有几点注意：

1.课程中的三台主机，Hadoop102、Hadoop103、Hadoop104，对应的我的主机是HadoopMaster、HadoopSlave01和HadoopSlave02；

2.课程后面新建的为了方便查看各个服务器进程启动情况的jpsall.sh脚本，运行的时候可能会报：bash: jps: command not found；这种情况，需要加上jps的全路径，这样改写就可以： ssh $host "/opt/module/jdk1.8.0_421/bin/jps"。