Hive集群的安装准备

Hive的安装与集群部署详细指南

一、环境与软件准备

在开始Hive的安装与集群部署之前，确保您准备好以下环境和软件：

1. 虚拟机软件 ：
   • VMware Workstation 17.5：用于创建和管理虚拟机，确保可以在其上安装Linux操作系统。
2. 操作系统 ：
   • CentOS 7 / RedHat：建议使用rpm/yum进行包管理，以简化软件的安装过程。
3. 网络配置 ：
   • IP段规划：设定IP地址范围为192.168.200.128至192.168.200.254。
   • 网关：设置为192.168.200.2。
   • 节点配置 ：
     • 主节点：<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata01</font> (192.168.200.151)
     • 从节点：<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata02</font> (192.168.200.152) 和 <font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata03</font> (192.168.200.153)

二、基础配置

在安装Hive之前，需要进行一些基础配置，以确保集群环境正常运行。

1. 设置主机名：

echo "bigdata01" > /etc/hostname
# 之后在bigdata02和bigdata03上设置对应的主机名

2. 配置静态IP ：
   修改网络配置文件<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/sysconfig/network-scripts/ifcfg-ens33</font>，示例配置如下：

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.200.151  # 对应主节点的IP
NETMASK=255.255.255.0
GATEWAY=192.168.200.2
DNS1=114.114.114.114

3. 配置hosts文件 ：
   为了使节点之间能够相互识别，修改<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/hosts</font>文件，添加以下内容：

echo -e "192.168.200.151 bigdata01\n192.168.200.152 bigdata02\n192.168.200.153 bigdata03" >> /etc/hosts

4. 关闭防火墙 ：
   在集群搭建初期，关闭防火墙以避免网络问题：

systemctl stop firewalld
systemctl disable firewalld

5. 重启系统 ：
   使配置生效：

reboot

三、JDK安装

Hive依赖于Java环境，因此必须先安装JDK。

1. 卸载已有的JDK ：
   在安装新版本之前，首先卸载系统自带的JDK：

yum -y remove java-1.*

2. 安装JDK ：
   下载并解压JDK：

mkdir /usr/java
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java

3. 配置环境变量 ：
   在<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/profile</font>中添加以下内容，使JDK环境变量生效：

export JAVA_HOME=/usr/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

运行以下命令使更改立即生效：

source /etc/profile

以上的 jdk 包与 系统镜像文件可以私信作者